Согласны ли вы с тем, что Грузия должна объявить военный нейтралитет при сохранении евроинтеграции? Это означало бы, что Грузия не будет членом какого-либо военного союза. В Грузии не будут размещаться военные базы зарубежных стран, и не будет проводиться военная подготовка с участием иностранных государств. Есть три возможных ответа: «да», «нет» или «я не знаю/я ещё не решил».

Такой вопрос использует для «расследования» общественного мнения одна антизападная партия, которая занимает несколько мест в парламенте. Лидеры партии «Альянс патриотов» не доверяют ни одной из уже существующих исследовательских организаций, которые утверждают, что подавляющее большинство населения Грузии поддерживает вступление страны в Европейский союз и НАТО.

Один из «аргументов», выдвинутых «Альянсом патриотов» против «Национального демократического института» (NDI) и «Международного республиканского института» (IRI), организаций, исследующих общественное мнение, заключается в том, что их опросы нескольких тысяч человек, проведённые с соблюдением стандартов количественных исследований, на самом деле не отражают общественное мнение. Хотя многочисленные «опросы», проведённые самой партией, по их мнению, критике не подлежат.

Эта партия считает интеграцию в НАТО неосуществимой, и что Грузии необходимо проводить переговоры с Россией, и утверждает, что грузинское общество не поддерживает евроатлантический курс. Члены партии сохраняют эту риторику в течение нескольких лет.

Несколько лет назад они решили «усилить свои аргументы» и начать проводить свои собственные опросы, представляя их результаты как мнение населения Грузии.

Сначала количество респондентов составляло десятки тысяч. Теперь их амбиции усилились, и у них в планах опросить более миллиона граждан.

Между тем, партия не ограничивается риторикой, а также устраивает акции протеста против этих международных организаций, в том числе собирает митинги перед посольством США и требует от главного стратегического партнёра Грузии «отреагировать на «нарушение» ими национальных интересов Грузии».

Опросы, проведённые «Альянсом патриотов» для противопоставления авторитетным исследовательским организациям, имеют много существенных недостатков.

К ним относятся нарушения общих принципов выбора респондентов, исследовательской этики, прав респондентов и, в первую очередь, антизападный и пророссийский нарратив в формулировке вопросов.

Чтобы выяснить, как следует проводить такие опросы и выяснить, чем грозит их «опрос миллиона респондентов», мы поговорили с лидерами «Альянса патриотов», а также с социологами, экспертами в статистике, исследователями и политологами.

Гоча Тевдорадзе, политический секретарь «Альянса патриотов» и Иракли Чихрадзе, руководитель аппарата партии, рассказали On.ge о содержании и технических деталях опроса.

Методология исследования

Партия выбрала три различных метода для опроса: поквартирный опрос, опрос по телефону и уличные опросы во время демонстраций и публичных собраний.

Для исследования не были выбраны конкретные возрастная, половая или демографическая категории,  они планируют опросить «всех» людей, чьи номера телефонов смогут получить из баз данных в интернете. В этих базах данных есть номера телефонов не всех граждан Грузии, но многих.

Следует отметить, что после предыдущего исследования, проведённого «Альянсом патриотов», некоторые люди пожаловались в государственную инспекцию на то, что партия использовала их телефонные номера. 

Офис государственной инспекции объяснил On.ge, что партия получает данные из различных общедоступных источников, что не запрещено законом. Однако инспекция вынесла решение, что база данных телефонных номеров, которую использует партия, размещена в интернете с нарушением законодательства (решение было обжаловано в суде и еще не вступило в законную силу). 

Один из участников исследования записал процесс опроса на свой телефон и предоставил запись On.ge.

Цель и содержание исследования

«В ходе нашего исследования будет опрошено более миллиона человек в Грузии, поэтому больше не нужно будет спрашивать, какое поле использовалось и как оно было выбрано. Когда вы опрашиваете более миллиона человек, такие исследования имеют высокую степень достоверности», — сказал политический секретарь партии Гоча Тевдорадзе.

Когда его спросили, почему он считает, что опрос большего числа людей прямо пропорционален его представительности, он ответил:

«Когда есть 100 человек, и нас интересует, что думают эти 100, мы можем опросить 10-15 человек, а затем распространить [ответы] на 100 человек и сказать, что у нас погрешность 1%, 2% или 3%. Но когда мы интересуемся, как настроены 100 человек и опрашиваем 100, мы не можем сказать, что есть какая-то погрешность».

Однако этот пример не подходит для опроса «Альянса патриотов», так как они не смогут опросить всех граждан или всех избирателей в Грузии, даже если они опросят больше миллиона человек (насколько больше, они не уточнили). На это замечание у Тевдорадзе следующий ответ:

«Сколько человек участвует в выборах в Грузии? Более 1,8 миллиона человек никогда не пойдут голосовать ни на каких выборах, и когда мы говорим, что мы опросим более миллиона человек, это означает, что мы узнаем настроение общества с максимальной достоверностью. Это не менее 50, 60, 70 процентов опрошенных, которые участвуют в политической жизни страны и голосуют на выборах, — заявляет Тевдорадзе. «Следовательно, вопроса о надёжности [опроса] не может возникнуть», — добавляет он.

Неясно, как партия гарантирует, что в опросе примут участие только лица избирательного возраста, так как опрос по телефону не предусматривает возможности это проверить.

На вопрос, откуда они берут эти телефонные номера, Иракли Чихрадзе, руководитель аппарата партии, ответил, что они взяли из общедоступных баз данных, которые есть «повсюду в интернете». Чихрадзе утверждает, что они случайно набирают разные номера из этих баз данных.

Семь недостатков исследования «Альянса патриотов» 

Чтобы узнать о недостатках метода исследования, выбранного «Альянсом патриотов», и о том, как они могут повлиять на результаты, On.ge связались с несколькими социологами.

Первый недостаток: Опрос невозможно провести без погрешности, если это не всеобщая перепись населения.

Социологи объяснили, что опрос невозможно провести без погрешности, если это не всеобщий опрос или перепись населения. По их словам, увеличение числа респондентов не обязательно повышает точность исследования.

Чтобы опросить десятки тысяч респондентов с соблюдением всех профессиональных стандартов, нужны месяцы.

Второй недостаток: При проведении опроса нельзя использовать смешанные методы, если невозможно исключить повторный опрос одних и тех же респондентов.

Социологи утверждают, что второй серьёзной ошибкой было использование различных методов исследования.

Они сказали, что недопустимо комбинировать методы  телефонного и поквартирного опросов для расчёта общего результата. При использовании различных методов следует учитывать вероятность опроса одних и тех же респондентов дважды.

Социолог Теона Матаридзе сказала, что каждый метод получения информации основан на различном принципе работы.

«Для поквартирных опросов мы используем многоэтапную кластерную выборку. Выбор домохозяйств основан на одном принципе — выбор респондента в домохозяйстве на другом. При телефонном опросе у вас больше нет домохозяйства как единицы, здесь пунктом доступа является респондент», — пояснила она.

Третий недостаток: В количественном исследовании должна быть обеспечена репрезентативность — вы не можете опрашивать людей, которым позвонили случайным образом или которых встречаете на общественных собраниях.

Социолог Теона Матарадзе объяснила On.ge, что для телефонного опроса больше всего важны идеальная база и метод отбора респондентов, а не опрос миллиона человек.

«Основной характеристикой количественного опроса является его репрезентативность. Селективность — определяющий фактор репрезентативности. Если использованная при телефонном опросе база данных для отбора полная и включает в себя всех потенциальных респондентов, то есть всех граждан Грузии, которым исполнилось 18 лет, и если людей из этой базы данных обзванивать селективным методом, это будет репрезентативное исследование. Большое количество респондентов и более миллиона человек при этом не нужны», — пояснила Теона Матарадзе.

Социолог Нино Дурглишвили объяснила, почему нельзя считать опросы в людных местах сделанными методом случайной выборки:

«Неправильно, когда говорят, что бессистемно останавливая людей на улице, их выбор происходит случайно. Как правило, большинство людей на улице не встречаются там случайно. Например, если вы живете на Важа Пшавела и работаете на Чавчавадзе, вас, скорее всего, остановят на одной из этих улиц, а не в Сололаки, если вы обычно не попадаете туда по причине какого-либо закономерного фактора».

По мнению социологов, каждый респондент должен иметь одинаковые шансы быть отобранным — это основной фактор в ходе исследования. «Альянс патриотов» не использует такой метод.

Иване Кечакмадзе, специалист по отбору и статистике, сказал, что если в базе данных не указаны номера всех, у кого есть телефон, выборка не будет считаться полной.

«В этом случае я получу достоверную информацию только о респондентах, чьи номера включены в базу данных, а не полную информацию о населении Грузии», — сказал Кечакмадзе.

Четвёртый недостаток: Партия не полностью раскрыла информацию об используемых инструментах исследования и тем самым нарушила этику исследования.

Как объяснила Нино Дурглишвили, помимо учёта технических деталей, важно соблюдать этику исследования, которая определяет достоверность результатов.

«Согласно этике исследования, если результаты исследования являются общедоступными, механизмы отбора и инструменты исследования также должны быть публичными, чтобы человек мог адекватно его оценить. База данных также должна быть общедоступной». 

Согласно правилам этики, также необходимо публично назвать донора, оплатившего исследование, поскольку от этого может зависеть заинтересованность в проведении исследования.

Пятый недостаток: Опрос «Альянса патриотов» проводит неквалифицированный персонал.

Социологи объяснили, что на результаты исследований может влиять квалификация интервьюера, и важно задавать правильно сформулированные вопросы. Для этого интервьюеры, работающие с респондентами, должны проходить специальную подготовку.

Респонденты опроса «Альянса патриотов» сообщили, что им в разных формулировках задавали одни и те же вопросы, что повлияло на то, как они отвечали.

Однако политический секретарь партии Гоча Тевдорадзе настаивает на том, что их интервьюеры соблюдали правила.

Руководитель аппарата партии Иракли Чихрадзе пояснил, что интервью проводили волонтёры, и что это неоплачиваемая работа.

Он сказал, что в этом процессе участвовали сотни сторонников партии, и что их задача была несложной: некоторые звонили по телефону, а другие приглашали респондентов в офис для заполнения анкеты (до эпидемии COVID-19).

Шестой недостаток: Респонденты не получили достаточной информации.

На основании телефонной записи, предоставленной On.ge, социолог Нино Дурглишвили выделила несколько нарушений, которые могли повлиять на решение респондентов и, следовательно, на результаты исследования.

Она сказала, что для интервьюера важно получить информированное согласие респондента до начала исследования; интервьюеры должны объяснять респондентам, что отвечать на вопросы не обязательно.

Респондентам также следует сообщать, что они имеют право не отвечать на все вопросы и прекратить опрос в любое время.

Некоторые респонденты сообщили On.ge, что не получили никакой информации такого рода.

Дурглишвили также отметила вопросы защиты конфиденциальности и мониторинга возраста в этом опросе.

В частности, она объяснила, что несовершеннолетние не могут быть включены в опрос без разрешения их родителей или опекунов.

Организация, проводящая интервью, должна заранее составить список взрослых людей (рамка выборки). Недостаточно, чтобы респондент или респондентка, просто подтвердили интервьюерам, что они взрослые. Не существует механизма для проверки их ответа, если неизвестен номер их удостоверения личности.

Седьмой недостаток: Неоднозначные вопросы.

Как сказала социолог Дурглишвили, термин «военный нейтралитет» используется неправильно в одном из вопросов на прослушанной записи — его можно интерпретировать по-разному (следует отметить, что в печатной версии опросника используется термин «военное неприсоединение»).

По мнению Дурглишвили, в этом случае не подходят ответы «да» или «нет», и для большей точности было бы лучше сказать: «я согласен/сна» или «я не согласен/сна».

«Это не является серьёзным нарушением, но оно влияет на ответ респондента», — добавила она.

Как объяснила Дурглишвили, респонденту было трудно понять и второй вопрос, потому что он вызывает дополнительные вопросы: «Означает ли прямой диалог, восстановление экономических отношений и восстановление визовой политики политику мира?»

Респонденты могут считать, что таким образом можно возобновить отношения с Россией, но это не значит, что они поддерживают этот метод.

«Трудно однозначно оценить [ответ], если мы не понимаем, как они интерпретируют этот вопрос», — сказала она.

По словам Дурглишвили, наибольшее нарушение можно увидеть в интерпретации ответа респондента на последний вопрос.

Из записи мы узнаём, что респондент не хочет отвечать на этот вопрос и говорит: «Я воздержусь от конкретного ответа». Интервьюер отмечает в анкете следующий ответ: «Я ещё не решил/а».

«Фразы: «Я решил/а, и я воздержусь от ответа» и «Я не знаю, я ещё не решил/а» имеют совершенно разные значения. Так вышло, что респондент продиктовал свой ответ, а затем, чтобы отделаться от этого интервью, согласился с ответом, предложенным интервьюером. Это неправильная методология», — сказала Дурглишвили.

Зачем это исследование России и чем опасны его результаты?

Ряд исследователей и политологов, изучающих пророссийскую пропаганду, говорят, что это исследование не имеет никакой научной ценности. По их словам, главная проблема не в ошибках, допущенных в исследовании, а в попытке использовать опрос для пропаганды риторики Кремля.

Они говорят, что переговоры с Россией и неприсоединение к военным альянсам представлены в качестве альтернативы, которую люди должны рассматривать как «выход из безнадёжного положения».

Давид Сихарулидзе, член неправительственной организации «Атлантический совет Грузии», заявил, что такая постановка вопросов отвечает интересам Кремля. Он сказал, что партия пытается внушить подозрения населению и манипулировать общественным мнением.

Сихарулидзе объяснил опасность так называемого «военного неприсоединения» и почему Россия желает такой вариант для Грузии.

«Недавняя история Грузии, и не только наша, но и истории других бывших государств Советского Союза, доказывает, что статус вне блоков не является гарантией защиты от российской агрессии».

«Когда страна остаётся без военных союзников, она немедленно становится жертвой российской агрессии. Это произошло в 1921 году, когда произошла коммунистическая агрессия против независимой Грузии. Ярким примером этого в недавней истории является Молдова, которая никогда не выражала желания вступить в НАТО, но подверглась нападению со стороны России».

Члены «Альянса патриотов» заявили, что такая критика в отношении них политически мотивирована. Они настаивают на том, что неприсоединение к военному блоку необходимо, потому что «дверь в НАТО открыта, но не открыта», и они не хотят, чтобы общественность жила «ложными ожиданиями».

При этом они не согласны с критикой, что это их утверждение содержит пророссийский нарратив.

Что касается результатов исследования, партия заявила, что они станут известны примерно через месяц. Трудно сказать наверняка, какую информацию они соберут и как будут ее обрабатывать и интерпретировать в исследовании, которое проводится со множеством нарушений — однако можно сказать, что пропагандистская машина Кремля воспользуется перед выборами этим «миллионом голосов».

Эта статья — материал наших партнёров, написанный Тамуной Гегидзе. Оригинальная версия впервые была опубликована на сайте On.ge 2 мая 2020 года.