БиоСтатистика — 06. Тема 4 (продолжение). Множественные сравнения

←

Д.А. Шабанов, М.А. Кравченко. Статистичний аналіз даних у зоології та екології

→

Тема 4. Порівняння вибірок

Тема 4 (продовження). Множинні порівняння

Тема 4 (продовження). Непараметричні критерії для порівняння вибірок

Біостатистика-05

Біостатистика-06

Біостатистика-07

4.5. Проблема множинних порівнянь
У пункті 4.2. ми порівняли самців і самок зелених жаб із файлом Pelophylax_example.sta за довжиною їх тіла. Проте у цьому файлі наведені результати вимірювань ще за шістьма морфометричними ознаками. Порівняти самців і самок можна не лише за всіма семома (включно з довжиною тіла) морфометричними ознаками одночасно. Разом із цими вимірами доцільно розглянути також різноманітні індекси — часткові відношення одних замірів до інших. Скільки їх можна обчислити на основі цих даних, щоб не розглядати одну й ту ж пару ознак двічі? Шість замірів можна поділити на довжину тіла, п’ять — на перший із цих шести тощо. Таким чином, можна обчислити 6 + 5 + 4 + 3 + 2 + 1 = 21 індекс.
Додамо до файлу Pelophylax_example.sta ще 21 стовпець. Найпростіший спосіб зробити це — двічі клацнути мишкою по сірому полю за межами стовпців (праворуч від змінної Cs на рис. 4.5.1). Природно, працює й спосіб Vars / Add.

Рис. 4.5.1. Подвійний клац по полю праворуч від стовпців відкрив вікно для додавання рядків і стовпців. У вікні Add variables треба вказати потрібну кількість стовпців
Для доданих стовпців треба вказати назви та задати формули, за якими вони будуть обчислюватися. Зручніше це зробити у вікні All Specs (Vars / All Specs).

Рис. 4.5.2. У вікні All Specs додано формули для групи стовпців. Після натискання кнопки OK програма послідовно перевіряє й переобчислює формули, про що повідомляє у спеціальному вікні. Поставивши позначку у полі Apply to all variable with valid expression, можна зробити цей процес автоматичним Дані в нових стовпцях показуються з надмірною точністю. Зробити їх відображення більш адекватним можна так: у режимі заголовка стовпця (Specs) змінити формат відображення даних (Display format), обравши режим Number. Після цього можна вказати необхідну кількість десяткових знаків (Decimal places), наприклад, три.

Рис. 4.5.3. Переходити від одного стовпця до іншого можна за допомогою кнопок зі стрілками (у верхньому правому куті вікна) Тепер, здається, можна порівняти значення всіх метричних ознак та індексів для самців і самок у нашому файлі.

Рис. 4.5.4. Результати порівняння за критерієм Стьюдента 28 ознак. Ознаки, для яких зареєстровано значення p, менші за 0,05, виділені червоним кольором Отже, за трьома змінними зареєстровано «значущі» відмінності. Самки й самці «значущо» відрізняються за змінністю індексу T/Ltc (відношення довжини галі до ширини голови); за індексом Dp/Fm (відношення довжини першого пальця задньої ноги до довжини бедра) «значущо» відрізняються середні значення, притаманні самцям і самкам; за індексом Dp/T (відношення довжини першого пальця задньої ноги до довжини галі) два статі відрізняються як за середнім значенням, так і за рівнем змінності. У багатьох працях, зокрема й у таких, що публікуються в поважних джерелах, наводять подібні міркування й роблять багатозначні висновки з того, що відмінності між самцями і самками виявились саме за цими ознаками. Проте треба задуматися над тим, що означає отриманий результат. Що означає, що за якоюсь ознакою рівень статистичної значущості для зареєстрованих відмінностей нижчий за 0,05? Це означає, що такі відмінності, як ті, що були зареєстровано за цією ознакою, могли виникнути випадково при формуванні вибірок із однієї генеральної сукупності не частіше ніж в одному випадку з 20. Ми провели порівняння за 28 ознаками; для кожного з них ми проводили порівняння за двома критеріями. Усього ми провели 56 порівнянь. Скільки разів із 56 спроб можна очікувати повторення результатів, що виникають із ймовірністю один випадок на двадцять спроб? Два–три рази. 4.6. Експеримент із отриманням ложно «значущих» відмінностей при множинних порівняннях Давайте підтвердимо сказане у попередньому пункті спеціальним експериментом. Створимо файл, у якому буде проводитися множинне порівняння вибірок, що належатимуть одній сукупності (випадковим даним, згенерованим за одним й тим самим розподілом). Отримаємо чи ми ложно «значущі» результати? Створимо новий файл статистики: File / New. Вкажемо для нього 102 стовпці (Number of variables) та 100 рядків (Number of cases). Клацнем по заголовку першого стовпця й у рядку для формул вкажемо: =Rnd(1). Ця формула генерує в кожній комірці стовпця випадкову величину, рівномірно розподілену між 0 і 1. У вікні All Specs «розтягнемо» цю формулу на всі стовпці, включно зі стовпцем № 101. У рядок формул стовпця № 102 впишемо формулу =(v101>1/2). У цьому стовпці буде стояти 0 (значення в дужках невірне), коли випадкова величина у стовпці 101 буде меншою за 0,5 (тобто із ймовірністю 50 %), і 1 — коли ця величина буде більшою за порогове значення.

Рис. 4.6.1. Експериментальний файл із даними Проведемо для цього файлу порівняння рядків, розбитих на групи залежно від значення, що стоїть у 102-му стовпці, за 100 ознаками (101-й стовпець використовувати не можна, оскільки він пов’язаний залежністю із значенням, що стоїть у 102-му стовпці).

Рис. 4.6.2. Порівняння за Стьюдентом, що виконується для 100 перших стовпців Виконавши порівняння двох груп за 100 ознаками, ми побачимо досить велику кількість «значущих» (тобто таких, для яких p < 0,05) результатів. Але не забувайте: наш файл заповнено даними, що належать одній генеральній сукупності (шумом, що породжується формулою =Rnd(1), випадковою рівномірно розподіленою величиною). Переобчислення даних (за допомогою команди Vars / Recalcelate Spreadsheet Formulas..., клавіатурного скорочення Shift+F9 або спеціальної кнопки з написом x=?) призведе до того, що набір «значущих» відмінностей зміниться.

Рис. 4.6.3. Результати. Зверніть увагу на виділені червоним «значущі» відмінності за деякими ознаками. Це — артефакт методу, наслідок використання множинних порівнянь без необхідних коригувань Фактично, якщо при множинних порівняннях діяти так само, як при єдичному порівнянні, різко зростає небезпека здійснити статистичну помилку I роду: помилково відкинути нульову гіпотезу, коли вона вірна.

4.7. Коригування на множинні порівняння
Як же слід діяти, щоб не прийти до хибних висновків? Найпростіший спосіб — використовувати коригування Бонферроні, запропоноване італійським математиком Карло Еміліо Бонферроні. Коригування Бонферроні дуже просто обчислити. Потрібно визначити загальну кількість розглядаємих статистичних гіпотез (виборів між нульовою й альтернативною гіпотезою), яку можна позначити як m. Для кожного з цих порівнянь слід використовувати не рівень статистичної значущості α, який був прийнятий для єдиночних порівнянь, а частку від його ділення на кількість гіпотез: α/m. У розглянутому прикладі це означає, що в якості критичного рівня статистичної значущості треба прийняти не 0,05, а 0,05/100 = 0,0005. Як ви розумієте, у цьому випадку у розглянутих нами прикладах статистично значущих відмінностей не виявиться.
При досить великій кількості множинних порівнянь застосування коригування Бонферроні має суттєвий недолік. Знижуючи критичний рівень статистичної значущості, ми підвищуємо ймовірність здійснити статистичну помилку II роду — прийняти нульову гіпотезу, коли вірна альтернативна.
Більш адекватним (хоча й дещо складнішим у реалізації) є метод, який найпростіше описати, процитувавши блог r-analytics.
«Для подолання проблем, пов’язаних із низькою потужністю методу Бонферроні, у 1978 р. Стур Хольм (Holm 1978) запропонував набагато потужнішу його модифікацію (часто цей метод називають ще методом Хольма-Бонферроні). Цей модифікований метод ґрунтується на алгоритмі, що включає такі кроки:
Початкові P-значення впорядковано за зростанням: p(1) ≤ p(2) ≤ … ≤ p(m). Ці P-значення відповідають перевіряємим гіпотезам H(1), H(2), …, H(m).
Якщо p(1) ≥ α/m, усі нульові гіпотези H(1), H(2), …, H(m) приймаються, і процедура зупиняється. Інакше слід відкинути гіпотезу H(1) і продовжити.
Якщо p(2) ≥ α/(m − 1), нульові гіпотези H(2), H(3), …, H(m) приймаються, і процедура зупиняється. Інакше гіпотезу H(2) відкинути, і процедура продовжується.
…
Якщо p(m) ≥ α, нульова гіпотеза H(m) приймається, і процедура зупиняється.
Описану процедуру називають сходовою (англ. step-down): вона починається з найменшого P-значення в впорядкованому ряду і послідовно «спускається» вниз до більших значень. На кожному кроці відповідне значення p(i) порівнюється зі скоригованим рівнем значущості α/(m − i + 1)».
(остання формула в цитованому джерелі містить помилку; тут ця помилка виправлена; крім того, імовірно, правильнішим є українське написання прізвища автора «Хольм», а не «Холм».)
Приклад реалізації процедури Хольма-Бонферроні засобами Statistica наведено на рис. 4.5.8. У цьому прикладі проведено 11 порівнянь із використанням певного непараметричного тесту. Обчислені рівні статистичної значущості (p) занесено до стовпця US_UB і впорядковано за зростанням. У стовпці i_US_UB проставлено порядкові номери цих порівнянь. У стовпці a_US_UB обчислено критичні значення для кожного з цих порівнянь. Нарешті, у рядок формул стовпця Holm_US_UP вписано вираз, який набуває значення 1, якщо зареєстрований ефект слід вважати статистично значущим, і 0, якщо результат вважається статистично незначущим. Бачимо, що відмінності, зареєстровані в порівняннях під номерами 7, 8 і 9, були б визнані статистично значущими, якби кожне з цих порівнянь було єдиночним, а ті самі відмінності слід вважати статистично незначущими, якщо ми проводимо одночасно 11 порівнянь і використовуємо процедуру Хольма-Бонферроні.

Рис. 4.7.1. Реалізація процедури Хольма-Бонферроні засобами Statistica
Слід особливо підкреслити, що проблема множинних порівнянь стосується не лише порівняння вибірок, а й усіх випадків множинного застосування статистичних критеріїв. Щоб переконатися в цьому, можна спробувати визначити кореляцію між усіма можливими парами ознак із експериментального файлу, створеного у попередньому пункті. Результат буде таким самим...
Якими б методами ви не користувалися, якщо ви проводите одночасно кілька статистичних тестів, ви маєте використовувати коригування на множинні порівняння!