Визначення викидів у кореляційному і одновимірному регресійному аналізі

Анотація

У роботі розглядається метод визначення викидів при попередній обробці даних для кореляційного та одновимірного регресійного аналізу. Пропонується класифікація викидів відповідно до їх природи. Розроблений для їх визначення алгоритм базується на послідовному застосуванні методу складного ножа та елементів розрахунків відстані за LSD-критерієм з використанням замість середніх значень коефіцієнтів кореляції і довірчих інтервалів замість критичних значень відстані. Застосування алгоритму показано на прикладах для різних умов його використання. Розглянутий весь спектр можливих умов застосування: від таких, в яких метод безпомилково визначає викиди, до таких, в яких він не працює або результати його роботи неоднозначні. Встановлено, що описаний у роботі метод дозволяє автоматично визначати викиди незалежно від їх природи при лінійному зв’язку між змінними. При нелінійному зв’язку між змінними викиди визначаються у випадку лінеаризації змінних (лінеаризація в таких ситуаціях є необхідною умовою аналізу даних). У сумнівних і невизначених випадках і при складній залежності алгоритм визначає як викиди ті експерименти, видалення яких приводить до покращення лінійної регресійної моделі (a priori, до її побудови). Метод не працює у випадку викидів, які компенсують одне одного, але в таких ситуаціях наявність викидів не приводить до суттєвого зміщення коефіцієнтів моделі. Побудовані регресійні моделі, які показують зміну характеристик і значень регресійних коефіцієнтів моделі під впливом викидів. Використання методу дозволяє визначити сумнівні точки експериментів для подальшого прийняття рішень. Метод може бути використаний у системах автоматизованої обробки інформації, оскільки гарантовано автоматично визначає наявність викидів або покращує лінійну регресійну модель.