Кожне п’яте дослідження може містити сфабриковані дані

Опитування у країнах другого світу нерідко здійснюються за допомогою face-to-face інтерв’ю, котре передбачає, що інтерв’юер ходитиме від дверей до дверей через небезпечне середовище. Тож, однією з неспростовних проблем, за словами Робінса, є «саморобні» анкети, коли інтерв’юер сидить на вулиці й вигадує відповіді, нерідко, задля збереження часу, їх повторюючи.

Advertisements
circle
Джон Богенон, кореспондент журналу Science

Як часто інтерв’юери, котрі проводять опитування, частково чи повністю фабрикують дані? Деякі кричущі випадки шахрайства протягом кількох минулих років актуалізували це питання, але весь масштаб проблеми залишається нез’ясованим. Учора на зустрічі у Вашингтоні двоє відомих дослідників, Майкл Робінс та Нобл Куріакос, презентували статистичний тест для виявлення сфабрикованих відповідей в опитуваннях. Після застосування тесту до  більш ніж 1000 загальнодоступних комплектів даних із міжнародних досліджень, стала вимальовуватись тривожна картина: кожне п’яте дослідження не пройшло перевірки, виявивши високу ймовірність фальсифікацій.

Проте цю заяву гаряче оскаржив Pew Research Center (Pew RC) – один із ключових спонсорів цих досліджень. Ця організація навіть вимагала у дослідників відмовитись від публікації їхніх результатів. Центр діяв «не дуже пристойно», – стверджує Куріакос, науковий співробітник платформи Survey Monkey із Плато-Альто (Каліфорнія) – «Ця проблема сама собою не зникне!».

За іронією долі, Робінс та Куріакос познайомилися саме в Pew RC, що у Вашингтоні, коли обидва працювали там як дослідники. «Майкл займався методологією міжнародних досліджень в Pew RC, і ми контактували з ним щодо якості даних», – сказав Куріакос. Саме тоді вони створили ранню версію свого тесту на достовірність.

В основі тесту лежить імовірність того, що двоє респондентів суто випадково дадуть дуже схожі відповіді на ряд анкетних запитань. Але ж яку схожість слід вважати надмірною? Змоделювавши різні сценарії фабрикації даних, вони встановили поріг довіри у 85 %. Наприклад, очікується, що у дослідженні на 100 анкет зі 100 запитаннями не більше 5 людей матимуть однакові відповіді на 85 із них.

Куріакос зауважив, що правило 85 % годиться не для всіх типів опитувань: «Наприклад, при вивченні задоволеності споживачів, коли кожне питання вимріює показники для одного і того ж продукту чи компанії, питання далеко не є незалежними одне від одного чи навіть суттєво відмінними». Так само це не працює для досліджень здоров’я, де усі здорові люди однаково відповідають на запитання. Але для розгорнутих опитувань громадської думки, що проводяться у країнах другого світу, і де довгий перелік питань покриває широкий діапазон тем, котрі використовуються для виявлення розбіжностей між різними спільнотами, «цей метод оцінки фальсифікацій є абсолютно адекватним».

По завершені своєї співпраці з Pew RC, Робінс став керівником проекту Arab Barometer, що вивчає громадську думку по всьому арабському світу, де став перевіряти свій тест на власних даних.  Опитування у країнах другого світу нерідко здійснюються за допомогою face-to-face інтерв’ю, котре передбачає, що інтерв’юер ходитиме від дверей до дверей через небезпечне середовище. Тож, однією з неспростовних проблем, за словами Робінса, є «саморобні»  анкети, коли інтерв’юер сидить на вулиці й вигадує відповіді, нерідко, задля збереження часу, їх повторюючи.

Створений спільно з Куріакосом тест допоміг Робінсу виявити дані, котрі, при ретельному розгляді, виявилися сфальсифікованими. Це примусило його замислитись про масштаб самої проблеми. Тому він об’єднався з Куріакосом, щоб вдосконалити свою техніку та використати її для перевірки загальнодоступних результатів міжнародних досліджень. За деякими виключеннями, вони обмежились аналізом досліджень із 1000 респондентів, де ставилось щонайменше 75 запитань на різні теми. Для обережності, вони не брали до уваги опитування, де хоча б 95 % даних успішно пройшли перевірку.

Результати виявилися ще більш тривожними: як показала перевірка, із 1008 опитувань 17 % скоріш за все містять значні обсяги сфабрикованих даних. Для досліджень, котрі проводились у багатих західних країнах, цей показник знижується до 5 %, в той час як у країнах другого світу він сягає 26 %.

У минулому році Робінс та Куріакос стали презентувати своє дослідження на зустрічах, привертаючи тим самим увагу Pew RC. «Дізнавшись про це дослідження, ми були надзвичайно схвильовані» – каже Кортні Кенеді, керівниця дослідницьких проектів Pew RC, котра власноруч провела сотні міжнародних досліджень.

Кенеді стверджує, що Pew RC використовує новітні прогресивні способи перевірки своїх даних. За її словами: «Певний відсоток даних і справді перевищує поріг довіри. Тому ми занурились в проблему глибше і, по завершені нашої перевірки, виявили лише кілька опитувань, стосовно яких у нас лишились серйозні сумніви». Так ми «виявили, що наш метод інколи може не спрацьовувати».

У листопаді 2015 року Кенеді та інші вищі керівники Pew RC написали листа Куріакосу й Робінсу, з яким ознайомилась редакція нашого порталу Science. До того часу дослідники вже подали свою методику та результати у вигляді статті до рецензованого наукового журналу «Statistical Journal of the IAOS», одного з ключових видань у цій області. «Ми наполегливо радимо вам відкликати статтю» – говорилося у листі, «адже ми переконані, що ваш аналіз має суттєві прогалини і може послугувати хибним інструментом оцінки фальсифікацій як для виконавців, так і для замовників досліджень». Кенеді назвала лист цілком «адекватним» адже «на карту поставлена репутація нашої компанії. І вам не слід висловлювати такі необґрунтовані твердження».

Куріакос і Робінс свою статтю не відкликали. У грудні 2015 року її прийняли до друку.

Незважаючи на те, що вчорашня зустріч, котра пройшла у тому ж складі, що і під час Datafab2016, замислювалась як зібрання колег для вдосконалення кращих дослідницьких практик, жодна зі сторін не поступилася. Куріакос та Робінс навіть пішли на крок далі, ніж у своїй статті, презентувавши результати своєї перевірки 309 міжнародних досліджень Pew RC, включно з їхніми Global Attitudes Surveys та кількома широковідомими дослідженнями релігійних переконань. Вони виявили 30 % сфабрикованих даних.

Коли прийшла черга виступу Кенеді, вона гаряче розкритикувала методологію їхнього тесту. Наприклад, зазначалося, що вона не враховує багатьох запитань із опитувальника, так само як й інших чинників, що можуть викривляти результати перевірки. Також вона не обійшла увагою і сам поріг довіри у 85 %. За її словами: «Цей поріг може варіюватися в залежності від генеральної сукупності та специфіки опитування». Тому, застосовуючи цей критерії для оцінки фабрикації даних в усіх дослідженнях, «вони заходять надто далеко» – сказала Кенеді. Зі спростуваннями з боку Pew RC можна ознайомитися в мережі.

Дехто на зустрічі засвідчив правоту обох сторін. Попри переоцінку обсягів фальсифікації, метод Куріакоса й Робінса «скоріш за все недооцінює справжній масштаб проблеми» – заявив Майкл Спегат, економіст коледжу Роял Головей Лондонського університету, котрий вивчав загальновідомі випадки ймовірної фальсифікації даних, зібраних на територіях зі збройним конфліктом. Відповідь Кенеді здалась йому переконливою. «Я вважаю, що стаття, представлена Pew RC є досить цікавою та містить кілька хороших зауважень» – сказав він. «Зокрема, не існує чіткого і зрозумілого порогу довіри, котрий дозволив би чітко встановити факт фальсифікації». Але загалом Спегат залишається дуже занепокоєним фальсифікацією дослідницьких даних. «Робінс та Куріакос викрили масову проблему і стаття Pew RC ніяк її не підважує».

Ми не дійшли остаточного висновку, заявив співорганізатор зустрічі Стівен Кошела, президент MassINC Polling Group у Бостоні та колишній керівник науково-дослідних проектів при держдепартаменті США. «Випадок, викладений у Куріакоса і Робінса, на мою думку, залишився неспростованим», – заявив він, «хоча, без усілякого сумніву, Pew RC роблять усе на максимально якісному рівні».

Оригінал: http://www.sciencemag.org/news/2016/02/survey-says-many-surveys-about-one-five-may-contain-fraudulent-data

Автор: Всеукраїнський часопис "СВОЄ"

Всеукраїнський соціологічний часопис «СВОЄ» — це незалежне періодичне видання, що ставить собі за мету розширювати та доповнювати комунікацію всередині української соціологічної спільноти альтернативними пошуками та обговоренням актуальних проблем у контексті існуючих суспільних викликів. Часопис готується зусиллями ініціативної групи молодих соціологів і працює на некомерційних засадах, виходячи чотири рази на рік у електронному та друкованому вигляді.

Залишити відповідь

Заповніть поля нижче або авторизуйтесь клікнувши по іконці

Лого WordPress.com

Ви коментуєте, використовуючи свій обліковий запис WordPress.com. Log Out / Змінити )

Twitter picture

Ви коментуєте, використовуючи свій обліковий запис Twitter. Log Out / Змінити )

Facebook photo

Ви коментуєте, використовуючи свій обліковий запис Facebook. Log Out / Змінити )

Google+ photo

Ви коментуєте, використовуючи свій обліковий запис Google+. Log Out / Змінити )

З’єднання з %s