БиоСтатистика — 08. Тема 5. Краткое введение в дисперсионный анализ

←

Д. А. Шабанов, М. А. Кравченко. Статистичний аналіз даних у зоології та екології

→

Тема 4 (продовження). Непараметричні критерії для порівняння вибірок

Тема 5. Короткий вступ до дисперсійного аналізу

Тема 5 (продовження). Багатофакторний дисперсійний аналіз

Біостатистика-07

Біостатистика-08

Біостатистика-09

Тема 5. Короткий вступ до дисперсійного аналізу
5.1. Що таке дисперсійний аналіз?
Дисперсійний аналіз розроблено в 20-х роках XX століття англійським математиком і генетиком Рональдом Фішером. За даними опитування вчених, де з’ясовувалося, хто найсильніше повпливав на біологію XX століття, перше місце отримав саме ср Фішер (за свої заслуги він був нагороджений лицарським званням — одним із найвищих відзнак у Великій Британії); у цьому відношенні Фішер порівняний із Чарльзом Дарвіном, який найбільше вплинув на біологію XIX століття.
Дисперсійний аналіз (Analysis of variance) наразі є окремою галуззю статистики. Він базується на відкриттю Фішера: міру змінчивості досліджуваної величини можна розкласти на частини, що відповідають впливовим на цю величину факторам та випадковим відхиленням.
Щоб зрозуміти суть дисперсійного аналізу, ми виконаємо однотипні розрахунки двічі: «вручну» (з калькулятором) і за допомогою програми Statistica. Для спрощення завдання ми працюватимемо не з результатами реального опису різноманіття зелених жаб, а з вигаданим прикладом, що стосується порівняння жінок і чоловіків у людей. Розглянемо різноманітність зросту 12 дорослих осіб: 7 жінок і 5 чоловіків.
Таблиця 5.1.1. Приклад для однофакторного дисперсійного аналізу: дані про стать та зріст 12 людей

Sex

Growth

Sex

Growth

Sex

Growth

1

Male

186

5

Female

172

9

Female

163

2

Female

169

6

Female

179

10

Male

162

3

Female

166

7

Female

165

11

Female

162

4

Male

188

8

Male

174

12

Male

190

Проведемо однофакторний дисперсійний аналіз: порівняємо, чи є статистично значимою різниця між чоловіками та жінками у досліджуваній групі за зростом.
5.2. Тест на нормальність розподілу
Наступні міркування базуються на тому, що розподіл у досліджуваній вибірці є нормальним або близьким до нормального. Якщо розподіл суттєво відрізняється від нормального, дисперсія (варіанса) не є адекватною мірою його змінчивості. Втім, дисперсійний аналіз відносно стійкий до відхилень розподілу від нормальності.
Тест цих даних на нормальність можна провести двома різними способами. Перший: Statistics / Basic Statistics/Tables / Descriptive statistics / Вкладка Normality. На вкладці Normality можна обрати тести нормальності розподілу, що застосовуються. Після натискання кнопки Frequency tables з’явиться таблиця частот, а кнопки Histograms — гістограма. На таблиці та гістограмі будуть наведені результати різних тестів.
Другий спосіб пов’язаний із використанням відповідних можливостей при побудові гістограм. У діалозі побудови гістограми (Grafs / Histograms...) слід обрати вкладку Advanced. У її нижній частині розташовано блок Statistics. Позначимо на ньому Shapiro-Wilk test і Kolmogorov-Smirnov test, як показано на рисунку.

Рис. 5.2.1. Статистичні тести на нормальність розподілу у діалозі побудови гістограми
Як видно з гістограми, розподіл зросту у нашій вибірці відрізняється від нормального (у центрі — «провал»).

Рис. 5.2.2. Гістограма, побудована з параметрами, вказаними на попередньому рисунку
Третій рядок у заголовку графіка вказує параметри нормального розподілу, до якого виявилося найближчим спостережуваний розподіл. Генеральне середнє становить 173, генеральне стандартне відхилення — 10,4. Унизу у врізці на графіку наведено результати тестів на нормальність. D — це критерій Колмогорова-Смирнова, а SW-W — Шапіро-Вілка. Як видно, для всіх використаних тестів відхилення розподілу зросту від нормального розподілу виявилися статистично незначимими (p у всіх випадках більше за 0,05).
Отже, формально кажучи, тести на відповідність розподілу нормальному не «заборонили» нам використовувати параметричний метод, що базується на припущенні про нормальний розподіл. Як уже зазначалося, дисперсійний аналіз відносно стійкий до відхилень від нормальності, тому ми все ж скористаємося ним.
 
5.3. Однофакторний дисперсійний аналіз: розрахунки «вручну»
Для характеристики змінчивості зросту людей у наведеному прикладі обчислимо суму квадратів відхилень (в англійському позначенні — SS, Sum of Squares або ) окремих значень від середнього: . Середнє значення для зросту у наведеному прикладі становить 173 см. Відповідно,
SS = (186–173)² + (169–173)² + (166–173)² + (188–173)² + (172–173)² + (179–173)² + (165–173)² + (174–173)² + (163–173)² + (162–173)² + (162–173)² + (190–173)²;
SS = 13² + 4² + 7² + 15² + 1² + 6² + 8² + 1² + 10² + 11² + 11² + 17²;
SS = 169 + 16 + 49 + 225 + 1 + 36 + 64 + 1 + 100 + 121 + 121 + 289 = 1192.
Отримана величина (1192) — міра змінчивості всієї сукупності даних. Проте вони складаються з двох груп, для кожної з яких можна виділити власне середнє. У наведених даних середній зрост жінок — 168 см, а чоловіків — 180 см.
Обчислимо суму квадратів відхилень для жінок:
SSf = (169–168)² + (166–168)² + (172–168)² + (179–168)² + (163–168)² + (162–168)²;
SSf = 1² + 2² + 4² + 11² + 3² + 5² + 6² = 1 + 4 + 16 + 121 + 9 + 25 + 36 = 212.
Так само обчислимо суму квадратів відхилень для чоловіків:
SSm = (186–180)² + (188–180)² + (174–180)² + (162–180)² + (190–180)²;
SSm = 6² + 8² + 6² + 18² + 10² = 36 + 64 + 36 + 324 + 100 = 560.
Від чого залежить досліджувана величина відповідно до логіки дисперсійного аналізу?
Дві обчислені величини, SSf і SSm, характеризують всередньогрупову варіансу, яку в дисперсійному аналізі прийнято називати «помилкою». Походження цієї назви пов’язане з такою логікою.
Від чого залежить зрост людини в розглянутому прикладі? По-перше, від середнього зросту людей взагалі, незалежно від їх статі. По-друге, від статі. Якщо люди одного статі (чоловічого) вищі, ніж іншого (жіночого), це можна подати у вигляді додавання до «загальнолюдської» середньої певної величини — ефекту статі. Нарешті, люди одного статі відрізняються за зростом через індивідуальні особливості. У межах моделі, що описує зрост як суму загальнолюдської середньої та коригувальної величини за статтю, індивідуальні відмінності непоясненні, і їх можна розглядати як «помилку».
Отже, відповідно до логіки дисперсійного аналізу, досліджувана величина визначається так: , де xij — i-те значення досліджуваної величини при j-му значенні досліджуваного фактора; — генеральне середнє; Fj — вплив j-го значення досліджуваного фактора; — «помилка», внесок індивідуальності об’єкта, до якого належить величина xij.
Міжгрупова сума квадратів
Отже, SSпомилки = SSf + SSm = 212 + 560 = 772. Цією величиною ми описали всередньогрупову змінчивість (при виділенні груп за статтю). Але є й друга частина змінчивості — міжгрупова, яку ми назвемо SSефекту (оскільки йдеться про ефект поділу сукупності досліджуваних об’єктів на жінок і чоловіків).
Середнє кожної групи відрізняється від загального середнього. Обчислюючи вклад цього відхилення в загальну міру змінчивості, ми повинні помножити відхилення групової та загальної середньої на число об’єктів у кожній групі.
SSефекту = = 7 × (168–173)² + 5 × (180–173)² = 7 × 5² + 5 × 7² = 7 × 25 + 5 × 49 = 175 + 245 = 420.
Тут виявився відкритий Фішером принцип постійності суми квадратів: SS = SSефекту + SSпомилки, тобто для даного прикладу 1192 = 420 + 772.
Середні квадрати
Порівнюючи в нашому прикладі міжгрупову та всередньогрупову суми квадратів, можемо бачити, що перша пов’язана зі варіюванням двох груп, а друга — із 12 величин у 2 групах. Кількість ступенів вільності (df) для якого-небудь параметра можна визначити як різницю між кількістю об’єктів у групі та кількістю залежностей (рівнянь), що пов’язують ці величини.
У нашому прикладі dfефекту = 2–1 = 1, а dfпомилки = 12–2 = 10.
Ми можемо поділити суми квадратів на число їх ступенів вільності, отримавши середні квадрати (MS, Means of Squares). Зробивши це, зможемо встановити, що MS — не що інше, як варіанси («дисперсії», результат ділення суми квадратів на число ступенів вільності). Після цього відкриття ми зможемо зрозуміти структуру таблиці дисперсійного аналізу. Для нашого прикладу вона матиме такий вигляд.

SS

df

MS

F

P

Ефект

420,0

1

420,0

5,440

0,041874

Помилка

772,0

10

77,2

MSефекту та MSпомилки є оцінками міжгрупової та всередньогрупової варіанси, отже, їх можна порівняти за критерієм F (критерієм Снедекора, названим на честь Фішера), призначеним для порівняння варіанс. Цей критерій являє собою просто частку від ділення більшої варіанси на меншу. У нашому випадку це 420 / 77,2 = 5,440.
Визначення статистичної значимості критерію Фішера за таблицями
Якби ми визначали статистичну значимість ефекту вручну за таблицями, нам довелося б порівняти отримане значення критерієм F з критичним, що відповідає певному рівню статистичної значимості при заданих ступенях вільності.

Рис. 5.3.1. Фрагмент таблиці з критичними значеннями критерієм F
Як можна переконатися, для рівня статистичної значимості p = 0,05 критичне значення критерієм F становить 4,96. Це означає, що в нашому прикладі дію досліджуваної статі зареєстровано з рівнем статистичної значимості 0,05.
Отриманий результат можна інтерпретувати так. Імовірність нульової гіпотези, згідно з якою середній зрост жінок і чоловіків однаковий, а зафіксована різниця у їхньому зрості пов’язана з випадковістю при формуванні вибірок, становить менше 5 %. Це означає, що ми повинні обрати альтернативну гіпотезу, яка полягає в тому, що середній зрост жінок і чоловіків відрізняється.
 
5.4. Однофакторний дисперсійний аналіз (ANOVA) у пакеті Statistica
У випадках, коли розрахунки проводяться не вручну, а за допомогою відповідних програм (наприклад, пакета Statistica), величина p визначається автоматично. Можна переконатися, що вона дещо вища за критичне значення.
Щоб проаналізувати обговорюваний приклад за допомогою найпростішого варіанту дисперсійного аналізу, потрібно запустити для файлу з відповідними даними процедуру Statistics / ANOVA і обрати у вікні Type of analysis варіант One-way ANOVA (однофакторний дисперсійний аналіз), а у вікні Specification method — варіант Quick specs dialog.

Рис. 5.4.1. Діалог General ANOVA/MANOVA (Дисперсійний аналіз)
У відкритому вікні швидкого діалогу у полі Variables потрібно вказати ті стовпці, які містять дані, змінність яких ми вивчаємо (Dependent variable list; у нашому випадку — стовпець Growth), а також стовпець, що містить значення, які поділяють досліджувану величину на групи (Categorical predictor (factor); у нашому випадку — стовпець Sex). У цьому варіанті аналізу, на відміну від багатофакторного, може розглядатися лише один фактор.

Рис. 5.4.2. Діалог One-Way ANOVA (Однофакторний дисперсійний аналіз)
У вікні Factor codes слід вказати ті значення розглядуваного фактора, які потрібно обробляти під час даного аналізу. Усі наявні значення можна переглянути за допомогою кнопки Zoom; якщо, як у нашому прикладі, потрібно розглядати всі значення фактора (а для статі в нашому прикладі їх лише два), можна натиснути кнопку All. Коли задані оброблювані стовпці та коди фактора, можна натиснути кнопку OK і перейти у вікно швидкого аналізу результатів: ANOVA Results 1, на вкладку Quick.

Рис. 5.4.3. Вкладка Quick вікна результатів дисперсійного аналізу
Кнопка All effects/Graphs дозволяє побачити, як співвідносяться середні двох груп. Над графіком вказується число ступенів вільності, а також значення F і p для розглядуваного фактора.

Рис. 5.4.4. Графічне відображення результатів дисперсійного аналізу
Кнопка All effects дозволяє отримати таблицю дисперсійного аналізу, аналогічну описаній вище (з деякими суттєвими відмінностями).

Рис. 5.4.5. Таблиця з результатами дисперсійного аналізу (порівняйте з аналогічною таблицею, отриману «вручну»)
У нижньому рядку таблиці вказано суму квадратів, кількість ступенів вільності та середні квадрати для помилки (всередньогрупової змінчивості). На рядок вище — подібні показники для досліджуваного фактора (у даному випадку — ознаки Sex), а також критерій F (відношення середніх квадратів ефекту до середніх квадратів помилки) та рівень його статистичної значимості. Те, що дію розглядуваного фактора виявилося статистично значимим, показує виділення червоним кольором.
А в першому рядку наведено дані щодо показника «Intercept». Цей рядок таблиці являє загадку для користувачів, що знайомляться з пакетом Statistica у 6-й або більш пізній версії. Величина Intercept (перетин, перехват), ймовірно, пов’язана з розкладанням суми квадратів усіх значень даних (тобто 186² + 169² … = 360340). Вказане для неї значення критерієм F отримано шляхом ділення MSIntercept / MSError = 353220 / 77,2 = 4575,389, і, природно, дає дуже низьке значення p. Цікаво, що у Statistica-5 ця величина взагалі не обчислювалася, а керівництва з використання більш пізніх версій пакета ніяк не коментують її введення. Ймовірно, найкраще, що може зробити біолог, що працює з пакетом Statistica-6 та подальших версій, — це просто ігнорувати рядок Intercept у таблиці дисперсійного аналізу.
 
5.5. ANOVA та критерії Стьюдента та Фішера: що краще?
Як ви могли помітити, ті дані, які ми порівнювали за допомогою однофакторного дисперсійного аналізу, ми могли дослідити й за допомогою критеріїв Стьюдента та Фішера. Порівняємо ці два методи. Для цього обчислимо різницю у зрості чоловіків і жінок з використанням цих критеріїв. Для цього нам доведеться пройти шлях Statistics / Basic Statistics / t-test, independent, by groups. Природно, Dependent variables — це змінна Growth, а Grouping variable — змінна Sex.

Рис. 5.5.1. Порівняння даних, оброблених за допомогою ANOVA, із застосуванням критеріїв Стьюдента та Фішера
Як можна переконатися, результат той самий, що й при використанні ANOVA. p = 0,041874 в обох випадках, як показано на рис. 5.4.5, так і на рис. 5.5.2 (переконайтеся в цьому самостійно!).

Рис. 5.5.2. Результати аналізу (докладний розшифрування таблиці результатів — у розділі, присвяченому критерію Стьюдента)
Важливо підкреслити, що хоча критерій F з математичної точки зору в розглянутому аналізі за критеріями Стьюдента та Фішера такий самий, як у ANOVA (і виражає відношення варіанс), сенс його у результатах аналізу, що подаються у фінальній таблиці, зовсім інший. Під час порівняння за критеріями Стьюдента та Фішера порівняння середніх значень вибірок проводиться за критерієм Стьюдента, а порівняння їхньої змінчивості — за критерієм Фішера. У результатах аналізу виводиться не сама варіанса, а її квадратний корінь — стандартне відхилення.
У дисперсійному аналізі, навпаки, критерій Фішера використовується для порівняння середніх різних вибірок (як ми обговорювали, це здійснюється шляхом поділу суми квадратів на частини та порівняння середньої суми квадратів, що відповідає між- та всередньогруповій змінливості).
Втім, наведена відмінність стосується скоріше подання результатів статистичного дослідження, ніж його суті. Як зазначає, наприклад, Гланц (1999, с. 99), порівняння груп за критерієм Стьюдента можна розглядати як частковий випадок дисперсійного аналізу для двох вибірок.
Отже, порівняння вибірок за критеріями Стьюдента та Фішера має одну важливу перевагу перед дисперсійним аналізом: у ньому можна порівняти вибірки з точки зору їхньої змінливості. Проте переваги дисперсійного аналізу все ж вагоміші. До їх числа, наприклад, належить можливість одночасного порівняння кількох вибірок.