Синтетические респонденты: сначала покажите мне исследователя

Игорь Краснощек, основатель агентства FOURO, директор по маркетингу с практическим опытом более 17 лет, преподаватель бизнес-школ и MBA-программ, член Совета Гильдии Маркетологов

Дискуссия о синтетических респондентах чаще всего строится вокруг одного вопроса: насколько хорошо искусственный интеллект способен воспроизводить ответы реальных людей. На мой взгляд, это важный, но далеко не единственный вопрос.

Есть другой, который сегодня обсуждается заметно реже: насколько хорошо сам исследователь понимает инструмент, которым пользуется?

Я регулярно применяю генеративный ИИ в маркетинговой работе — для генерации гипотез, поиска вариантов коммуникации, анализа текстовых и числовых данных. Для отдельных задач мы создаём специализированных агентов, подключаем корпоративные данные, а для специфических бизнес-задач разворачиваем модели в закрытых контурах.

И чем больше я работаю с LLM, тем осторожнее отношусь к фразе «исследование проведено с использованием искусственного интеллекта». Она практически ничего не говорит о качестве результата.

Важно другое: какая именно модель использовалась, какая её версия, как она была настроена, какие данные получила, как проверялись её ответы и, главное, кто оценивал качество полученного результата.

«Синтетический респондент» — ещё не характеристика качества

Заказчик получает отчёт: исследование проведено с использованием синтетических респондентов. Звучит технологично. Но что именно скрывается за этой формулировкой?

В одном случае может использоваться современная версия сильной модели, подробно настроенный системный промпт, свежие данные о рынке, информация о конкретном сегменте, дополнительные корпоративные источники и серия контрольных прогонов.

В другом — устаревшая модель и инструкция из нескольких предложений: «Представь, что ты мужчина 35 лет, живёшь в Москве и выбираешь автомобиль».

Формально и там и там можно сказать, что использовался синтетический респондент. Но с исследовательской точки зрения это совершенно разные инструменты.

Причём даже название семейства модели говорит мало. Нельзя написать в методологии просто «использовали GPT», «Claude», «Gemini», GigaChat или YandexGPT. Внутри каждого семейства существуют разные поколения и версии, которые заметно различаются по возможностям. Модели постоянно обновляются, появляются новые версии, прежние перестают быть актуальными.

Поэтому синтетический респондент — это не название модели.

Условно его можно представить как конструкцию:

модель и её версия + системные инструкции + описание респондента + данные и контекст + параметры генерации + процедура проведения исследования.

Изменение любого из этих элементов способно повлиять на результат.

Именно поэтому вопрос «какой моделью вы пользовались?» необходим, но недостаточен.

Сначала стоит обсудить квалификацию тех, кто их создаёт

Рынок активно обсуждает валидность синтетических респондентов. Но, возможно, до этого стоит обсудить квалификацию исследователей, которые их создают.

Классической исследовательской экспертизы недостаточно, если LLM становится частью исследовательской методологии.

Специалисту необходимо понимать не только принципы построения выборки, интервью или анкеты, но и различия между моделями и их версиями, влияние системных инструкций, способы подключения внешних данных, ограничения контекста, причины галлюцинаций и способы проверки устойчивости результата.

Иначе возникает довольно неприятная ситуация.

Исследователь может корректно сформулировать вопросы, правильно построить дальнейший анализ и аккуратно оформить выводы — но всё исследование будет основано на ненадёжно сконфигурированной AI-модели.

Методологическая аккуратность последующих этапов уже не исправит ошибку, заложенную в самом источнике данных.

Причём AI не создал проблему недостаточной квалификации исследователя. Она существовала всегда. Можно неверно сформировать выборку, задать наводящий вопрос, неправильно интерпретировать корреляцию или увидеть закономерность там, где её нет.

ИИ делает эту старую проблему значительно опаснее.

Сегодня слабую гипотезу, ошибочную логику или неверно сконструированную модель аудитории можно масштабировать практически бесплатно и за очень короткое время. При этом результат будет выглядеть профессионально, подробно и убедительно.

Модель не знает сегодняшний рынок автоматически

Вторая серьёзная проблема — актуальность.

У любой базовой модели есть временная граница собственных знаний. Само по себе это не является критическим ограничением: модель можно дополнять свежими источниками, корпоративными базами, результатами текущих исследований, CRM, внешними данными и другими инструментами заземления.

Проблема возникает тогда, когда исследователь воспринимает знания модели как автоматически актуальное отражение сегодняшнего рынка.

В маркетинге это особенно рискованно.

Поведение потребителя иногда меняется гораздо быстрее, чем успевают обновляться модели. В России это хорошо видно даже на бытовых примерах. Планирование зарубежного отпуска, автомобильных поездок, логистика путешествий, доступность направлений, брендов и сервисов способны существенно меняться не раз в несколько лет, а несколько раз в течение одного года.

Синтетический респондент, хорошо воспроизводящий паттерны прошлого, может при этом плохо описывать сегодняшнее поведение.

Поэтому в описании синтетической аудитории недостаточно указать возраст, доход, профессию и место проживания.

Нужно понимать ещё одну характеристику: на какую дату актуальна картина мира, которую мы моделируем, и за счёт каких данных эта актуальность обеспечена.

Убедительный ответ не равен достоверному ответу

У генеративного ИИ есть качество, которое делает его одновременно чрезвычайно удобным и опасным исследовательским инструментом: он умеет формулировать убедительно.

Реальный респондент может сказать: «Не знаю». Может никогда не задумываться о причинах собственного выбора. Может противоречить себе. Может не суметь рационально объяснить поступок.

LLM значительно чаще предлагает связное объяснение.

И здесь важно разделять два разных риска.

Первый — классические галлюцинации, когда модель сообщает фактическую информацию, которая выглядит правдоподобно, но не соответствует действительности.

Второй для исследований даже интереснее: необоснованная синтетическая рационализация.

Модель может создать вполне логичное объяснение того, почему предполагаемый потребитель выбирает определённый товар, испытывает конкретный барьер или реагирует на рекламное сообщение. Текст будет выглядеть убедительно. Но это ещё не значит, что такой мотив действительно существует у реальной аудитории.

Получается опасная подмена: качество формулировки начинает восприниматься как качество данных.

Поэтому синтетического респондента нельзя оценивать только по тому, насколько естественно и «по-человечески» он отвечает.

Один ответ вообще мало что значит

Есть ещё одна проблема, о которой нельзя забывать, — воспроизводимость.

Если одну и ту же синтетическую персону попросить несколько раз ответить на один вопрос, будут ли ответы совпадать? Насколько изменится результат после небольшой корректировки формулировки? Что произойдёт после обновления версии модели?

Для обычного пользователя вариативность генеративного ИИ является преимуществом. Для исследователя она становится частью методологии.

Поэтому необходимо фиксировать не только итоговый ответ, но и саму процедуру: сколько выполнялось прогонов, насколько различались результаты, какие формулировки использовались, как проверялась устойчивость выводов и что происходило при тестировании на другой модели или другой версии той же модели.

Если результат существенно меняется от небольшого изменения промпта, это само по себе важный результат исследования.

Скрывать такую нестабильность за одним аккуратно выбранным ответом нельзя.

Главное ограничение — способность человека проверить результат

В своей работе я постоянно сталкиваюсь с очень простой закономерностью.

Когда я задаю AI вопрос в области, которую хорошо знаю, он становится мощным усилителем. Он ускоряет анализ, предлагает альтернативы, помогает посмотреть на проблему под другим углом, быстро генерирует десятки гипотез.

Но при этом я способен заметить неверный вывод, слабую аргументацию или выдуманный факт.

Ситуация принципиально меняется, когда человек задаёт модели вопрос за пределами собственной экспертизы.

Ответ модели по-прежнему может выглядеть профессионально. Но пользователь уже значительно хуже способен самостоятельно оценить, где находится хорошая гипотеза, а где — правдоподобно оформленная ошибка.

Поэтому одно из главных и при этом недооценённых ограничений AI-исследований — экспертиза человека, который их проектирует и интерпретирует.

Сильная модель не компенсирует слабого исследователя.

Более того, чем убедительнее становятся модели, тем выше должны быть требования к человеку, который принимает их ответы за исследовательские данные.

Заказчик должен видеть «кухню» исследования

Из этого следует ещё одно важное изменение: исследования с использованием синтетических респондентов требуют большей прозрачности.

Полный промпт, архитектура внутренних решений или отдельные технические приёмы могут оставаться интеллектуальной собственностью исследователя. Но для заказчика методология не должна превращаться в чёрный ящик.

Я, как эксперт, который часто работает на стороне бизнеса и хорошо знаком как с маркетингом, так и с LLM, не приму подобное исследование без предварительного ТЗ в виде своего рода «паспорта синтетического респондента».

В нём должно быть как минимум пять блоков.

1. Модель.
Точное название модели, конкретная версия и дата проведения исследования.

2. Конструкция синтетического респондента.
Какие характеристики аудитории задавались, какой контекст передавался модели, какие типы данных использовались.

3. Актуальность данных.
На основании какой информации модель представляла текущий рынок и на какую дату эта информация актуальна.

4. Проверка и воспроизводимость.
Сколько проводилось прогонов, насколько устойчивыми оказались ответы, как исследователь проверял результаты и какие ограничения обнаружил.

5. Выбор модели.
Какие альтернативные модели и версии тестировались и почему для итогового исследования была выбрана именно эта.

Последний пункт я считаю особенно важным.

Заказчику недостаточно сказать: «мы использовали такую-то модель». Исследователь должен быть готов показать примеры процесса выбора: одну и ту же контрольную задачу дали нескольким актуальным моделям и их версиям, получили разные ответы, сравнили результаты и на основании заранее определённых критериев приняли решение.

Причём сравнивать нужно именно конкретные версии, а не только бренды моделей. Разница между поколениями и обновлениями одной линейки может быть для результата не менее значимой, чем разница между разными разработчиками.

При таком тестировании имеет смысл оценивать не то, какая модель дала наиболее красивый ответ, а насколько хорошо она удерживает контекст, насколько устойчивы результаты при повторных прогонах, как она работает с предоставленными данными и насколько часто выдаёт ответы, которые невозможно подтвердить.

Не обязательно раскрывать весь технический know-how. Но логика выбора инструмента должна быть прозрачной.

В классическом исследовании заказчик хочет понимать, как формировалась выборка. В синтетическом исследовании он имеет такое же право понимать, как был сконструирован его «респондент».

Где AI уже действительно полезен

При всём сказанном я не отношусь к синтетическим респондентам или генеративному AI скептически. Наоборот, считаю ИИ одним из наиболее сильных инструментов, которые маркетологи получили за последние годы.

Есть задачи, где я использую его постоянно.

Первая большая область — генерация гипотез.

Рекламные сообщения, варианты позиционирования, сценарии поведения, возможные барьеры, направления для дальнейшего исследования. Здесь не требуется верить в единственный правильный ответ модели. Ценность в другом: специалист быстро получает большое пространство вариантов и дальше применяет собственную экспертизу для их отбора.

Вторая область — анализ.

Большие массивы текстов, отзывы, документы, результаты интервью, таблицы, числовые данные. AI позволяет быстрее структурировать информацию, искать взаимосвязи и находить направления для более глубокого анализа.

Для отдельных бизнес-задач этого уже недостаточно. Тогда появляются корпоративные данные, специализированные агенты и модели, развёрнутые в закрытых контурах.

То есть вопрос для меня никогда не стоял как «человек или искусственный интеллект».

Правильнее спрашивать: какую часть интеллектуальной работы разумно передать машине и где должен находиться экспертный контроль человека.

Вместо вывода

Синтетические респонденты как класс имеют право на жизнь, и их роль в исследованиях, скорее всего, будет расти.

Но рынку важно не повторить ошибку, которую бизнес уже делает с генеративным AI: оценивать красивый результат, практически не интересуясь тем, как именно он был получен.

Поэтому я бы изменил главный вопрос дискуссии.

Не только: «могут ли синтетические респонденты заменить реальных людей?»

И не только: «насколько точно LLM имитирует человека?»

Сначала я бы спросил:

кто создал этого синтетического респондента, на какой модели и версии, на каких данных, как проверял его устойчивость, с чем сравнивал результат и способен ли сам исследователь отличить хороший инсайт от убедительно сформулированной ошибки?

AI не отменяет требования к профессиональной экспертизе. Он резко повышает её значение.

Поэтому, выбирая подрядчика для исследования на синтетических респондентах, я бы сегодня сначала спрашивал не о количестве AI-респондентов.

Я бы спрашивал о квалификации людей, которые их создали.