Как проверить дополнительный эффект рекламы по тестовым регионам
Как выбрать регионы для сравнения, оценить исходную динамику и отличить наблюдаемый рост от дополнительного эффекта рекламы.
Спасибо! Заявка принята.
Не удалось отправить заявку. Попробуйте позже.
Оглавление статьи · 7 разделов
После увеличения рекламы в одном городе продажи выросли с 200 до 240 заказов. Можно ли приписать все сорок заказов рекламе? В соседних городах в это же время начался сезон. Возможно, часть покупателей пришла бы и без дополнительного размещения. Геоэксперимент помогает оценить именно эту разницу: условия рекламы меняются в одних территориях, а сопоставимые территории служат ориентиром того, что могло бы произойти без изменения.
Сначала определите, какой эффект хотите измерить
Вопрос «работает ли реклама вообще» слишком широк. Запишите действие и результат применительно к вашему бизнесу. Например: увеличили показы действующей кампании в выбранных регионах; хотим узнать, изменилось ли число оплаченных заказов от жителей этих регионов. Если вы оцениваете добавочный бюджет, исходные условия в остальных каналах стоит сохранить. Одновременный запуск новой цены, нового сайта и другой доставки превратит тест рекламы в проверку всего набора изменений.
Решите заранее, где учитывается продажа. Для розницы это может быть магазин покупки, для доставки — адрес получения, для услуги — адрес объекта. Не смешивайте место показа, расположение офиса и адрес выполнения работ. Человек может увидеть рекламу в городе проживания, купить подарок в соседнем магазине и оформить доставку родственнику. Выбранное правило должно подходить задаче и работать одинаково во всех регионах.
Найдите территории, которые можно сравнивать
Одинаковое население ещё не делает города сопоставимыми. Проверьте продажи и их сезонность до теста, структуру услуг, режим работы филиалов, наличие товара и изменения конкурентов. Если динамика одного города повторяет календарь курорта, а другого — учебный год, похожий размер оборота сегодня мало поможет. Попросите управляющих отметить необычные недели: ремонт дороги, открытие торгового центра, местную акцию или закрытие конкурента.
Отдельно проверьте пересечение территорий. Если один магазин обслуживает два тестируемых района, люди ездят между ними, а показы нельзя надёжно разделить, контрольная группа получит часть воздействия. При небольшом количестве городов подобные ограничения особенно важны. В классической схеме геоэксперимента непересекающиеся территории случайно распределяют между условиями. Принцип описан в работе исследователей Google о геоэкспериментах. Сравнение двух произвольно выбранных филиалов требует более осторожной интерпретации.
Зафиксируйте условия до изменения бюджета
Для каждой территории внесите в таблицу базовый расход, плановое изменение, ожидаемое расписание и владельца настройки. Добавьте основной результат, допустимые исключения и период ожидания оплат. Если покупатели принимают решение неделю, нельзя оценивать последний день показа по уже успевшим оплатить клиентам. Введите дату окончательного разбора, а промежуточные показатели используйте для обнаружения технических ошибок.
Проверьте, что есть один согласованный источник результата. Отчёт кабинета по покупкам после клика отвечает на другой вопрос, чем изменение всех продаж региона. Полезно смотреть оба, но назначьте главным тот, который соответствует гипотезе. Для связки записей рекламы и CRM есть руководство по сквозной аналитике. Если несколько филиалов по-разному учитывают возвраты, до эксперимента согласуйте, используются ли оплаченные, отгруженные или окончательно выкупленные заказы.
Посчитайте учебное сравнение
В упрощённом примере тестовая группа имела 200 оплаченных заказов за базовый период и 240 за следующий. Контрольная выросла с 300 до 330, то есть на 10%. Предположим для иллюстрации, что тестовая группа без изменения рекламы выросла бы на те же 10%. Тогда её ориентир — 220 заказов. Разница наблюдаемого числа с ориентиром составляет 20, а не 40. Такой расчёт годится, чтобы объяснить логику; сам по себе он ещё не подтверждает причинный эффект.
Если дополнительный расход составил 30 000 ₽, деление на эти условные 20 заказов даст 1 500 ₽ за предполагаемый дополнительный заказ. Но при другой оценке прироста изменится и эта величина. Не превращайте деление двух неточных показателей в уверенную цену привлечения. Спросите аналитика, насколько сильно результат меняется при исключении одной территории и могло ли похожее расхождение возникнуть раньше, когда условия рекламы ещё не менялись.
Проследите, действительно ли группы получили разные условия
Проверьте фактические показы и расход, а не только настройки. Объявления могли не пройти согласование, оборудование оказалось недоступно, таргетинг охватил соседей или бюджет одной территории закончился раньше. В такой ситуации отсутствие роста не означает, что предложение неинтересно: возможно, намеченного воздействия просто не получилось. Сохраните журнал нарушений и покажите их рядом с итоговой оценкой.
Проверьте также работу филиалов. Если тестовый магазин в середине периода получил новый ассортимент, а контрольный временно сократил рабочий день, одного перерасчёта по числу показов недостаточно. Вернитесь к первичным заказам и фактической доступности. Проверка того, как заявки доходят до команды, помогает исключить потерю обращений отдельным офисом.
Примите решение с учётом неопределённости
В результате полезны три строки: оценка дополнительного результата, условия, от которых она зависит, и действие бизнеса. Если данных мало, вполне обоснован вывод «пока не можем различить полезный прирост и обычные колебания». Это отличается от заключения «реклама не работает». Возможный следующий шаг — подобрать другие территории, дольше наблюдать созревание продаж или испытать более отчётливое изменение затрат в пределах согласованного бюджета.
В отчёте отдельно сохраните продажи, которые уже были бы без теста. Такой раздел защищает от распространённой ошибки: расширить бюджет вдвое, ожидая повторения всего оборота региона. Эксперимент по добавочному расходу отвечает на вопрос о конкретном изменении при определённом уровне спроса. Для другой услуги или другого сезона вывод придётся проверять заново.
Свобода от рекламной зависимости – за 1 день
ЛидБлог за 1 день превращает сайт в канал привлечения новых клиентов из Яндекс, Google и поиска в нейросетях. Работает без вашего участия
.PDF ФАЙЛ
Выберите способ связи и укажите номер, чтобы получить персональный план привлечения клиентов с помощью нового канала «ЛидБлог» и узнать стоимость внедрения
Вопросы и ответы
Можно ли считать весь рост тестового города результатом рекламы?
Нет. Сравните его с динамикой контрольных территорий и проверьте другие изменения условий. В примере общий рост равен сорока заказам, а грубый ориентир дополнительного роста — двадцати.
Почему соседние районы иногда не подходят для сравнения?
Одни и те же люди могут видеть рекламу в одном районе и покупать в другом. Если воздействия групп плохо разделены, оценка вклада кампании становится менее надёжной.
Что делать, когда эффект не удалось отличить от колебаний продаж?
Зафиксируйте предел точности и причины. Проверьте фактическое различие показов, сопоставимость территорий и срок созревания заказов до решения об увеличении расходов.