Как проверить изменение интерфейса через A/B-тест сайта
Пример эксперимента с формой заказа. Как закрепить варианты, заранее определить правила сравнения и заметить ухудшение качества обращений.
Спасибо! Заявка принята.
Не удалось отправить заявку. Попробуйте позже.
Оглавление статьи · 6 разделов
Форма с короткой кнопкой получила за неделю больше заявок, чем старая форма за предыдущую. На первый взгляд победитель очевиден. Но в новую неделю шла распродажа, а на старую выпали праздники. A/B-тест помогает сравнить варианты на сопоставимых посетителях в один период. Для этого до старта нужно договориться, что именно меняется, кто участвует и какой результат оправдает выпуск.
Запишите гипотезу как проверяемый маршрут
Вместо «сделать заказ удобнее» опишите препятствие и ожидаемое действие. Например, покупатель не понимает, нужен ли адрес уже для предварительного расчёта, поэтому бросает форму. В варианте B необязательность адреса объяснена рядом с полем. Основной результат — доля подходящих посетителей, успешно отправивших форму. Защитный показатель — доля обращений, для которых менеджеру действительно хватает сведений для первого расчёта. Рост отправок при большем количестве бесполезных контактов потребует отдельного решения.
Не меняйте одновременно текст, цену, состав обязательных полей и рекламное обещание, если хотите понять действие одного пояснения. Когда сравниваете целиком два дизайна, так и зафиксируйте: результат относится к комплекту изменений. Согласуйте, для каких устройств, страниц и типов посетителей действует тест. Люди, уже отправившие заявку или находящиеся в отдельном персональном сценарии, могут требовать другого порядка сравнения.
Выберите единицу и событие
Один человек может открыть форму несколько раз. Если случайно менять ему вариант при каждом просмотре, посетитель попадёт в обе группы и получит непоследовательный опыт. Определите единицу назначения: например, доступный стабильный идентификатор посетителя в рамках согласованных настроек приватности. Для B2B-продукта иногда существенна компания или аккаунт. Запишите, как долго закрепляется вариант и что происходит, когда повторное посещение невозможно уверенно связать с первым.
Проверьте событие, которое будет считаться успехом. Нажатие «Отправить» при ошибке поля и доставленная заявка — разные шаги. Пройдите обе версии с тестовыми данными в безопасной среде и сравните событие интерфейса, серверное подтверждение и запись в системе продаж. Подходящий порядок описан в проверке доставки заявок с сайта. Если различие в измерении возникло вместе с новым дизайном, эксперимент покажет ошибку аналитики.
Согласуйте правило решения до старта
Зафиксируйте исходную частоту события и минимальный эффект, ради которого есть смысл менять интерфейс. Увеличение числа отправок может оказаться слишком небольшим, чтобы оправдать нагрузку поддержки. Аналитику нужны ожидаемый трафик, разброс, схема назначения и выбранный способ анализа: универсального правила «достаточно недели» нет. Учитывайте цикл покупки и дни недели. Если воронка длинная, качество обращений станет известно позже первичных отправок.
Оговорите дату или критерий завершения, способ оценки неопределённости и технические условия досрочной остановки. Ошибка оплаты, нарушение доставки или раскрытие данных требуют вмешательства независимо от статистики. Смотреть отчёт можно и раньше, но объявлять победу в первый удобный день при обычном фиксированном плане опасно. Отдельно зафиксируйте исход «данных недостаточно». Это полноценный результат, а не повод поменять метрику уже после просмотра цифр.
Прочитайте числа в контексте
Допустим, в группе A из 1 000 посетителей отправили форму 60, в B из 1 000 — 70. Наблюдаемая доля выросла с 6% до 7%: разница один процентный пункт, относительный прирост около 16,7%. Из этих чисел без согласованного анализа ещё нельзя заключить, что изменение надёжно помогает. Проверьте фактическое распределение по группам, корректность событий и устойчивость выводов с учётом неопределённости. Не выбирайте красивейшую из десятка вторичных метрик вместо основной.
Попросите продажи разобрать подходящие обращения после достаточной выдержки в одинаковых условиях. Если в B менеджерам чаще приходится выяснять даже город или способ доставки, обещанная простота формы могла переместить работу на другой участок. Для связи клика с дальнейшим результатом пригодится разбор сквозной аналитики. Отдельно записывайте ситуации, когда данных о результате пока нет.
Что оставить после выключения теста
Подготовьте одну запись: проблема, варианты, даты, единица назначения, основная метрика, защитные условия, результат с неопределённостью и решение. Для внедрения победившего варианта проверьте, что старый эксперимент больше не смешивает интерфейсы и события, согласованный вариант правильно работает на телефоне и данные продолжают приходить. Выкатывать можно также исправление реального дефекта, обнаруженного в ходе теста, но не выдавайте исправление за доказанный эффект гипотезы.
Если трафика мало и требуемый эксперимент займёт непропорционально много времени, начните с наблюдений за пользователями и воспроизведения конкретного затруднения. Так можно исправить явную поломку или уточнить гипотезу без ложной уверенности в точной величине роста.
Свобода от рекламной зависимости – за 1 день
ЛидБлог за 1 день превращает сайт в канал привлечения новых клиентов из Яндекс, Google и поиска в нейросетях. Работает без вашего участия
.PDF ФАЙЛ
Выберите способ связи и укажите номер, чтобы получить персональный план привлечения клиентов с помощью нового канала «ЛидБлог» и узнать стоимость внедрения
Вопросы и ответы
Почему нельзя просто сравнить неделю до и после?
Могли измениться спрос, состав трафика, реклама и условия работы. Одновременное случайное распределение по вариантам уменьшает риск такого смешения.
Что делать, если вариант дал больше отправок, но меньше подходящих обращений?
Сверьте заранее выбранные защитные показатели и работу продаж. Ухудшение качества может изменить решение даже при росте числа заполненных форм.
Что считать результатом при маленькой выборке?
Покажите наблюдаемые величины и неопределённость. Если данных недостаточно для решения по заранее выбранному правилу, так и запишите.