Гауссу – верю!
Это не колонка, это вторая запись в блога на Компьютерре-онлайн, после того как первая вызвала какое-то прямо таки взрывное обсуждение. Предыдущие этапы обсуждения: первый пост на Компьютерре и на Батрахосе; добавление к нему на Батрахосе; второй пост на Компьютерре.
Публікація допису в блозі, присвяченого виборам, виявилася для мене повчальною – він викликав несподівано широку й емоційну реакцію. Я й починав-то його з твердження, що для різних людей переконливими виявляються різні речі. Власне, оскільки для мене виявилися дуже переконливими статистичні розподіли, я й написав той допис.
А наступним етапом стало його обговорення, і в коментарях, і на моєму сайті.
Картина обговорення змусила мене помріяти ще про один спосіб обробки даних. Уявіть собі: беремо досить багату суперечку на якомусь інтернет-майданчику й порівнюємо прихильників двох точок зору за грамотністю, логічністю, формальною ввічливістю їхніх текстів. Звичайно, потрібні способи неупередженої оцінки необхідних параметрів текстів… Утім, без усякого статистичного апарату такий аналіз проводить будь-який уважний читач, що пропускає через себе мережеві дискусії.
Закінчилося ось чим. Я відповів на ті заперечення, які мені здавалися істотними. Безліч коментарів залишилися без відповіді. «За очками» (кількістю виступів) я програв. По суті – переконався у своїй правоті і, сподіваюся, зміг переконати багатьох розумних читачів.
На жаль, як мені здалося, багатьом з нас просто не вистачає розуміння основ статистики. Спробую розповісти трохи зрозуміліше. І почну з банкноти в 10 марок, випущеної в ті часи, коли Німеччина ще не перейшла на євро.
Рис. 1. Хтось побачить тут у першу чергу грошовий знак іншої країни з чужою для багатьох росіян культурою. Це за такі (або новіші) папірці продаються-бо ліберали, чужі російському духу!
На купюрі – портрет Карла Гаусса, рівняння й графік гаусіани. Гроші – це всього лише гроші, певний економічний символ. Щоб цим папірцям вірили, у них зашивають відсилання до якогось фундаменту – і до нацбанку, і до науки, і культури. Це не авторитет грошей підтримує математику; це класик математики підтримує авторитет грошей!
Чим же так незвичне нормальне, гаусівське розподілення? Тим, що величина, на яку впливає безліч незалежних факторів, має розподіл, що прагне до нормального. Ось, дивіться. Роблю масив з 10 випадкових величин, розподіли яких показані на малюнку, обчислюю по 500 значень.
Рис. 2. По діагоналі – розподіли 10 випадкових величин, що варіюють від 0 до 1 (по 500 значень). На перетинах горизонтальних і вертикальних рядів, що йдуть від діагоналі – двовимірні розподіли точок, що показують відсутність зв'язку між величинами
Тепер підсумовуємо ці величини. Розподіл суми близький до нормального. Середнє значення – 5, але в жодному випадку сума не виявилася рівною, наприклад, ні 1, ні 9. Ці значення можливі, але дуже малоймовірні.
Рис. 3. Майже диво. Сума 10 випадкових рівномірно розподілених величин набула нормального розподілу. Найімовірніше значення – 5
Насправді, ми просто проілюстрували центральну граничну теорему. Ми побачили, що в даному випадку розподіл сум випадкових незалежних величин виявився близьким до нормального, а теорема ця доводить цю обставину!
А що буде, якщо якийсь із факторів виявиться очевидно сильнішим за інших? Додамо до суми одинадцятий фактор: в одній третині випадків він виявиться рівним 3, у 2/3 – 0.
Рис. 4. До суми, розподіл якої показаний на попередньому графіку, додано ще один доданок. У двох третинах випадків ми не додали нічого, а в одній третині – 3. У розподілу з'явився витягнутий вправо «хвіст»
До речі, що було б, якби ми додали 3 до всіх випадків? Крива просто змістилася б на три одиниці вправо, середній результат був би рівний 8.
Отже, «хвіст» розподілу говорить про наявність потужного фактора, який діє не в усіх випадках.
Ми переконалися в деяких властивостях нормального розподілу. Тепер промоделюємо умовні вибори. Використаємо (на даному етапі) такі спрощення:
- до кожної дільниці приписано 3000 виборців;
- 49% виборців голосують за партію № 1, 19% – за партію № 2, 13% – № 3, 12% – № 4, 3% – № 5, 0,3% – за партію № 6 і 5,7% – за інші партії;
- для кожного виборця ймовірність дійти до виборчої дільниці однакова (60%);
- те, за яку партію проголосує виборець, не залежить від того, прийде він чи ні на дільницю, на яку дільницю він прийде, скільки людей на цій дільниці проголосувало взагалі і як розподілені їхні голоси.
Зрозуміло, що така модель значно спрощена порівняно з дійсністю. Реалізована вона так. У програмі Statistica-7 задано 150 000 «виборців» (500 дільниць × 3 000 голосів за партію). Кожен з них з імовірністю 0,49 голосує за партію № 1 і з відповідними ймовірностями – за інші партії; кожен з них з імовірністю 0,6 доходить до дільниці.
Явка на дільницях дещо коливалася. Вас дивує, що ця величина розподілена дзвоноподібно?
Рис. 5. Розподіл дільниць на модельних «виборах» за кількістю тих, хто проголосував (кожен виборець приходив на дільницю з імовірністю 0,6)
А як же розподілилися голоси за партії? Дивимося, що вийшло.
Рис. 6. Розподіл голосів за шість партій на модельних «виборах». Усі розподіли дзвоноподібні, за винятком відповідного найменш популярній партії (0,3%)
Певно, потрібно подивитися на розподіл голосів найменшої партії докладніше.
Рис. 7. Партія № 6 отримала 0,3% голосів. Для неї характерний пуассонівський розподіл
Це пуассонівський розподіл – розподіл числа збігів незалежних рідкісних подій. Як ви бачите, на більшості дільниць за цю партію не проголосував ніхто.
А що буде, якщо ймовірність голосів, відданих за якусь партію, буде зростати? У міру збільшення ймовірності голосів, відданих за якусь партію, максимум розподілу відірветься від нуля, буде відповзати від нуля, а пуассонівський розподіл буде переходити в розподіл, близький до нормального (дзвоноподібний). І в міру зростання популярності партії цей розподіл буде зберігати дзвоноподібний характер доти, поки ймовірність не проголосувати за неї буде залишатися досить істотною.
А як же ті читачі, які стверджували, що близькими до нормального повинні бути всі розподіли, крім розподілу голосів за партію, що набрала максимум голосів? Дурницю писали.
А чому «близький до нормального» розподіл, а не «нормальний»? Тому що кожен зайвий голос за дану партію не тільки збільшує відсоток відданих за неї голосів, але й збільшує явку, знижуючи «вагу» всіх попередніх голосів. Не буду зараз зариватися в статистичні тонкощі; відповідаючи тим критикам, які вважають цей розподіл логнормальним (логарифмом нормального), скажу, що в подібних випадках різниця між цими розподілами несуттєва.
Рис. 8. Це розподіл голосів за партію-лідера в більшому масштабі. В обговоренні минулого допису про вибори багато списів зламано з того приводу, з нормальним чи з логнормальним розподілом треба пов'язувати розподіл голосів, відданих за якусь партію. Так ось: практично - без різниці!
При якій явці відхилення від нормальності будуть серйознішими: при постійній чи при мінливій? Багато читачів мого попереднього допису стверджували, що саме мінлива явка є причиною статистичних ефектів, зареєстрованих при аналізі результатів російських виборів. Добре, перевіримо, як на розподіли голосів вплине змінна явка.
Рис. 9. Розподіл 500 дільниць за явкою. Максимум – явка 100%, 3000 голосів (порівняйте з рис. 5)
Ну і що змінилося?
Рис. 10. Розподіл голосів за шість партій при мінливій явці. Порівняйте з рис. 6: не змінилося практично нічого
Давайте подивимося на партію-лідера уважніше…
Рис. 11. Розподіл голосів за партію-лідера при мінливій явці (порівняйте з рис. 8)
Усе те ж саме. І, нарешті, останнє. У числі заперечень проти використаних методів статистичного аналізу результатів висловлювалася думка, що в міру зростання явки відсоток голосів, відданих за найчисленнішу партію, повинен зростати. Дивимося.
Рис. 12. Залежність результатів для шести партій від загальної явки на дільницях. Частка голосів залишається постійною (за умови, що вподобання кожного виборця формувалися незалежно від явки на його дільниці)
Досі ми говорили не про російські вибори грудня цього року, а про їхню просту модель. Ми переконалися в тому, що якщо на результат виборів на кожній дільниці впливає безліч незалежних подій (волевиявлення безлічі незалежних громадян), то виходять дзвоноподібні, близькі до нормального, розподіли.
Ця модель серйозно відрізняється від дійсності, оскільки в ній використовуються саме незалежні голоси. Кожен виборець голосує не випадково; у нього, можливо, є закономірні причини для певних уподобань. Але якщо рішення, що приймаються виборцями, незалежні від рішень інших виборців і від явки на дільниці, виходять цілком гаусівські розподіли.
Іноді «хвости» й двогорбості розподілів виявляються пов'язані зі змішанням двох (або більшої кількості) різнорідних вибірок (наприклад, дільниці в місті й у селі або в різних за соціальною обстановкою регіонах). Це – даність, яка не залежить ні від чийого рішення. Але гіпотезу про такий характер розподілу можна перевірити, розглянувши статистику для груп різнорідних дільниць окремо.
Як впливає на результат партії, наприклад, вдала агітація? Вона підвищує ймовірність того, що цій партії віддадуть свій голос. Розподіл голосів за дільницями залишиться дзвоноподібним, але зсунеться в бік вищих значень.
Як впливає на результат партії, наприклад, вкидання бюлетенів на її користь? Приблизно як на рис. 4: приводить до формування красномовного «хвоста».
Відведене мені місце давно вичерпано. Сформулюю гіпотезу. Усі легальні методи політичної боротьби не приводять до істотного відхилення розглянутих розподілів від нормальності. Значна частина заходів, що використовуються при фальсифікації виборів або адміністративному впливі на їх хід, приводить до відхилення від дзвоноподібних розподілів і формування у вибірок «хвостів».
Захочете – продовжу.