Діагностична система аналізу log-файлів із віддалених вузлів обробки даних.

Анотація

Для супроводження та підтримки належного функціонування розподілених систем використовують реєстрацію подій у log-файлах із метою подальшого аналізу і виявлення обставин та причин відхилень від нормальної роботи. Інструментальні засоби для досягнення цієї мети мають в першу чергу забезпечувати: 1) швидкий пошук і обробку log-файлів у процесі аналізу і виявлення причин збою; 2) формування пропозицій щодо вирішення виявленої проблеми. У статті наведено результати аналізу існуючих засобів журналізації та обробки log-файлів і обґрунтовано доцільність розробки діагностичної системи, що пропонується. Описана загальна структура розробленої діагностичної системи, її функціональна модель. Розглянуті функції основних програмних модулів – парсера, що обробляє log-файл і збирає частини повідомлень у єдиний log-об’єкт, модуля діагностики, що обробляє інформацію про помилку в об’єкті log-файла, а також модуля накопичення і використання знань про відомі помилки функціонування вузла, способи їх усунення і про проблеми, не виявлені раніше. Обґрунтовано вибір нереляційної СКБД MongoDB для збереження даних із log-файлів і накопичення знань, розроблено уніфіковану структуру об’єктів log-файла в середовищі MongoDB. Управління діагностичною системою – сумісну роботу модулів та їх взаємодію з базою даних і базою знань у середовищі MongoDB – забезпечує головна програма LogHelper, що надає користувачу можливості конструювати запити по log-об’єктах, переглядати результати запиту, розглянути усі відомі і невідомі помилки, обробити невідому помилку і задати для неї статус, запропонувати існуючі рішення для користувача. Результати проведеного дослідження і апробації показали, що розроблена діагностична система є дієвим засобом підтримки функціонування віддалених вузлів обробки даних завдяки швидкому виявленню причин відмов і формування пропозицій щодо їх усунення.