"We human being, always find a solution, maybe not today, but if you really want to solve a problem, there’s always a way" – Ma Yun @ Stanford, 2013
Monthly Archives: September 2017

General purpose Anomaly detection and Alerting system

by Md Imran Hasan Hira
এইটা একটা ফান প্রোজেক্ট হিসেবে চিন্তাভাবনা করার জন্যে বানানো। প্রোজেক্টের নাম General purpose Anomaly detection and Alerting system । লেভেল ২ বা এর উপরে যারা আছ মূলত তাদের জন্য 🙂
বিভিন্ন কোম্পানিতে সিস্টেম অটোমেটিক মেইন্টেইন করার জন্য মনিটরিং দরকার হয়। বিভিন্ন রকমের মনিটরিং হতে পারে। যেমন Dhaka Stock Exchange সিস্টেমে প্রতি মিনিটে কতগুলো Transaction হচ্ছে, কোন পেমেন্ট সিস্টেম যেমন iPay তে প্রতি সেকেন্ডে কোন কারেন্সিতে কত টাকা ট্রান্সফার হচ্ছে, কোন অনলাইন কলিং সিস্টেম যেমন IPVision এর RingID এ প্রতি মিনিটে কয়টা ফোনকল হচ্ছে, FieldBuzz এর সিস্টেমে প্রতিঘণ্টায় কতগুলো এন্ট্রি সাবমিট হচ্ছে, গ্রামীণফোনের মত সিস্টেমে প্রতি ঘণ্টায় কয়টা FnF update রিকোয়েস্ট হচ্ছে, …… এরকম অনেক রকমের মনিটরিং।
 
তো এই মনিটরিং সিষ্টেমের একটা বিরাট অংশ হচ্ছে, কোন রকম ঝামেলা হলে যথাযথ মানুষকে Alert করা। Automated Alerting ব্যাপারটা খুব একটা সহজ কাজ নয়। Anomaly Detection করতে হবে। একজন ইঞ্জিনিয়ার হিসেবে এই ব্যাপারটা Automate করতে পারার কাজটা বেশ মজার। Anomaly হইল, একটা ডাটা সাধারণভাবে যেমন হওয়ার কথা, তেমন না থাকা। যেমন, কোন ডাটাবেজে প্রতি মিনিটে হয়ত ২০,০০০ টা Select query হইত, কিন্তু হঠাত করে সেটা কমে মিনিটে ৩৫টা হচ্ছে। নিশ্চয়ই কোন একটা গণ্ডগোল বেধেছে।
 

Read the rest of this entry »


Theme by Ali Han | Copyright 2025 Md Imran Hasan Hira | Powered by WordPress