"Вероятностные" или "детерминированные" (Отчет о встрече Дискуссионного Клуба Гильдии 28 апреля 2005 года)

Игорь Березин, Президент Гильдии Маркетологов

В четверг 28 апреля в Гуманитарном Университете (РГГУ) состоялась очередная встреча Дискуссионного Клуба Гильдии Маркетологов в которой приняли участие около 50 человек: представители ведущих исследовательских компаний Москвы, «боевые» маркетологи („практики“), студенты.

На повестке обсуждения стоял вопрос о том – какие методы построения выборки при проведении маркетингового исследования – «вероятностные» или „детерминированные“ дают более адекватные т.е. соответствующие реалиям рынка и запросам заказчиков результаты. Конечно, стороны не пришли к единому мнению (глупо было даже ожидать этого), тем более что многие участники дискуссии пришли не столько для того чтобы „истину искать“, сколько для того, чтобы „себя показать и товарища подколоть“. Тоже дело. Однако, за два часа жарких дебатов достаточно четко определились позиции по двум важным вопросам, что уже хорошо.

Первый вопрос состоит в том – возможна ли практическая реализация «в чистом виде» вероятностной выборки при проведении массовых исследований (опросов) в случае когда генеральная совокупность состоит из сотен тысяч или миллионов единиц не поддающихся сплошной нумерации. Одна часть участников дискуссии, не откажу себе в удовольствии назвать ее „ортодоксальной“ уверена в том, что „чистую, случайную, вероятностную“ выборку можно построить в реальных условиях. Более того, только такая выборка и является, по мнению ортодоксов „правильной“, а все остальное – шарлатанство и профанация. Впрочем, ортодоксы признают, что реализация такой „правильной“ выборки является весьма трудоемким, „муторным и противным“ (прямая речь), финансово затратным делом. Прозвучала даже конкретная цифра – 40 долларов за одну анкету (одно наблюдение, одного участника). Мало кто из заказчиков готов выложить 25-40 тысяч долларов за „правильную“ городскую выборку в 600-1000 респондентов, и уж тем более 60-100 тысяч за национальную выборку в 1500-2500 респондентов. Однако, ортодоксы утверждали, что такие заказчики все-таки есть, и случаи эти не единичные. На вопрос о том – „А где же, собственно, результаты этих исследований, хотя бы в части не относящейся к предметной деятельности заказчика, а по таким вопросам общего интереса как: уровень образования населения, типология домохозяйств, распределение доходов и т.п.?“; ортодоксы отвечали в том духе, что „тайна сия великая, коммерческая есть и публикации эти шедевры вероятностных упражнений, даже частичной не подлежат как минимум еще лет двадцать“. Жаль. Жаль. Ведь публикация данных „общего интереса“, полученных в ходе проведения таких замечательных исследований могла существенно улучшить наше понимание страны, в которой мы живем, ее народа, потребителей. Всем бы была польза.

Вторая группа, кажется наиболее многочисленная, назовем ее «умеренной», признала, что в реальности (и не только российской) реализация „вероятностных“ подходов в чистом виде невозможна. Исследователям, и в США, и в Европе, и в России приходится искать компромисс между жесткими требованиями „чистой науки“ (теории вероятности) и ограничениями по времени, организации, финансам. Умеренные считают допустимым ограниченное применение элементов детерминирования, в частности – квотирование, которые используются, например, при таких способах построения выборки как „кластеризация“ и „стратификация“, относящихся все же к вероятностным способам.

Позиция третьей группы, к которой относится и автор настоящей заметки, чтобы никому не было обидно назовем ее «визионерской», состоит в следующем. Величие теории вероятности как науки не ставится под сомнение. Добросовестность и профессионализм сотен крупных и не очень крупных исследовательских компаний, как на Западе, так и в России – также вне сомнений. Однако, выборки, строящие по принципам близким к „вероятностным“ имеют (и в США, и в Европе, и в России) чудовищные сдвиги в сторону малообеспеченных групп населения. И если для социологических и социально-политических исследований это может не играть критической роли (если обеспеченные группы малочисленны, политически пассивны или их электоральное поведение в целом „похоже“ на поведение малообеспеченных), то в маркетинговых исследованиях недопустимо строить представление о поведении потребителей на основе опросов бедной и беднейшей части потребителей. И раз в силу различных причин (даже не хотим тратить время на обсуждение – каких именно: фундаментальных, технических, „гуманитарных“ и т.д.) не удается вероятностными методами построить выборку, адекватно отражающую всю генеральную совокупность потенциальных потребителей, включая средне и выше среднего обеспеченную ее часть, то приемлемым и адекватным способом построения является изначальное квотирование по доходу, а уж затем применение вероятностных процедур в их мягком варианте.

Но, возникает закономерный вопрос – а в соответствии с какими данными строить эти доходные квоты? Откуда мы можем знать, что в нашем городе, к примеру, 10% населения имеет доход свыше 1000 долларов на каждого члена семьи, 40% — менее $200 и 50% — от 200 до 1000 долларов? Наш визионерский ответ такой – представление о распределении доходов в обществе это важная часть картины мира (Видения) Заказчика. Он должен иметь представления о том, в каком обществе живет его потребитель, для которого он будет предлагать свой продукт с весьма конкретными параметрами: вес, цвет, вкус, упаковка и ЦЕНА. Конкурентная борьба, маркетинговые войны – это соревнование Видений. У кого оно лучше, адекватнее – тот и побеждает. Но, это так, к слову. Исследователям общие представления о том, в какой стране они живут тоже, кстати, не повредят. На что можно опереться заказчику? Можно взять за основу данные ФСГС (бывший Госкомстат, Роскомстат, РСА). Не нравятся данные официальной статистики – нет к ним доверия? Пожалуйста – к вашим услугам аналитические выкладки различных аналитических агентств и «независимых» экспертов. Возможно – у консультанта (очень полезная фигура при проведении маркетинговых исследований; но это отдельный разговор), которого заказчик привлекает к работе над серьезным исследовательским проектом (не вместо, а вместе с исследовательской компанией) есть свое Видение. И он сможет убедить заказчика в своей правоте.

Второй вопрос, по которому участники также разделились на три лагеря состоит в том, существует ли возможность внешней верификации данных, полученных в ходе проведения исследований. Значительная часть ортодоксов ударилась в агностицизм. «Объективной реальности не существует. Совокупные доходы населения страны невозможно оценить даже с точностью до 100 миллиардов долларов в годовом исчислении. Госкомстат врет и ошибается в разы. База ГИБДД – полная ерунда, половина автомобилей там числящихся липовые или принадлежат подставным лицам. Количество мобильных телефонов в России никто не может подсчитать даже с точностью до 10 миллионов штук. Та же самая беда с компьютерами, ноутбуками, телевизорами. И т.д. И т.п.». Короче – никаких способов внешней верификации данных не существует. Да это и не нужно. Если исследование проведено „правильно“, т.е. с соблюдением всех требуемых „чистой наукой“ формальностей и процедур, его данные и есть истина. И не беда, что данные таких исследований могут различаться в разы. Прочие условия ведь никогда не бывают равными. В крайнем случае можно обвинить коллег по исследовательскому цеху в недобросовестности, ошибках, просчетах, а заказчика – в жадности. Не дал денег на проведение „правильного“ исследования – сам виноват. Пусть теперь что хочет, то и делает с результатами.

Вторая группа, назовем ее «осторожной», в целом признает полезность внешней верификации, а также весьма ограниченную возможность проведения такой верификации. Указывая при этом, что подобная верификация недешево обойдется заказчику и может потребовать от него допуска исследователей к внутренней коммерческой информации. Например, владелец сети ресторанов быстрого питания мог бы сравнить данные относительно ответов на вопрос анкеты „Сколько денег вы обычно тратите за один поход в ресторан такой-то?“ со средним счетом, проходящим через кассовый аппарат этой сети ресторанов. В группу осторожных вошли большинство умеренных, значимая часть ортодоксов и небольшая часть визионеров.

Третья группа – «рыночники», в основном состоит из визионеров. Наша позиция такова. Если невозможно провести внешнюю верификацию данных полученных в ходе исследования хотя бы по двум точкам, то не стоит проводить такого исследования вовсе. На десятую часть предполагаемого бюджета исследования надо пойти в ресторан с исследователями (и конечно не забыть консультанта) и там обсудить все интересующие вопросы за кружечкой пива или чего покрепче. А если серьезно, то: „Объективная реальность существует. Она нам дается во множественных ощущениях. Она разнообразно и изощренно проявляет себя. Любые рыночные действия оставляют следы. И искусство исследователя, консультанта, аналитика состоит в грамотном считывании и интерпретации этих следов.“. Важно не то, что Госкомстат ошибается или не ошибается. Десять лет подряд его обвиняли (и отчасти заслужено) в том, что он недоучитывает объем ВВП, доходов и расходов населения (это связано с „ненаблюдаемой“ частью экономических процессов), а теперь некоторые горячие исследовательские головы готовы подписаться под тем, что Госкомстат завышает уровень доходов населения. Интересно – зачем? И кто, кстати, купил в прошлом году 1.5 миллиона новых автомобилей, потратив на это 16-18 миллиардов долларов? Наверно – олигархи. А важно то, что данные которые дает Госкомстат есть у меня, есть у вас, есть у заказчиков, есть у конкурентов заказчиков, есть у агентств, работающих с конкурентами заказчиков. Это наше „общее знание“. Мы его можем принять. Мы его можем скорректировать. Это наше право. И даже обязанность. Перед бизнесом. Перед людьми, которые с этим бизнесом так или иначе связаны. А перед теорией вероятности у меня, при всем к ней почтении, нет никаких обязанностей.

Сомневающихся в том, заслужено ли получена Автором оценка «отлично» по курсу „Теория вероятностей“ в МГУ им. Ломоносова вызываю на дуэль в виде преферанса: нон-стоп в течении пяти часов, по доллару за вист.