5 ошибок A/B - тестирования
28 июня 2021
Автор: Некстайп Веб-студия
О пользе А/В-тестирования не наслышан уже, наверное, только глухой или человек, весьма далёкий от интернет-продаж. Однако не всегда оно даёт достоверный результат. И дело не в том, что метод плох, а в ошибках, которые часто допускаются. Рассмотрим самые основные из них.
· Ошибка 1. Тестирование всего и сразу.
Суть метода в том, чтобы, изменив один параметр, увидеть, как это повлияло на конверсию. Если же у нас нет чёткой гипотезы, от которой мы отталкиваемся, и мы меняем несколько характеристик сайта сразу, становится непонятно, а что же в конце концов сработало на нас. Ну, или не сработало, если разница в конверсии оказалась незначительной. Поэтому применяем метод HADI (от гипотезы к интерпретации результатов) и отслеживаем изменения продаж в зависимости от конкретных параметров.
· Ошибка 2. Тестирование без учёта контекста.
Для чистоты эксперимента следует убедиться, что недавно не было масс-рассылки по старым или действующим базам, публикаций в СМИ с упоминанием тестируемого ресурса и т.п. То есть к сайту не привлекалось дополнительное внимание, которое могло бы исказить результаты для последующего анализа данных. А/В-тесты должны происходить «в информационном вакууме» — тогда они достоверны.
· Ошибка 3. Измерение разницы между старой новой версией сайта.
Суть А/В-тестов не в том, чтобы изменить цвет кнопки «Заказать» с синего на зелёный и посмотреть, что из этого выйдет. Что бы ни вышло — это будут не те данные, которые Вам нужны для сравнения. Мало ли что могло произойти в тот момент, когда вы сменили цвет кнопки: завершился сезон продаж, конкурент решил повысить цены или на рынке, напротив, появилось более выгодное предложение. Тестирование должно сравнивать две практически идентичные версии сайта — условно с синей и зелёной кнопками — трафик между которыми делится 50/50, в режиме реального времени. Только так можно прийти к правильным выводам о ситуации.
· Ошибка 4. Размер не имеет значения.
Ещё как имеет, если речь идёт о выборке. Чем больше потенциальных клиентов в ней участвует, тем правдоподобнее будут результаты. То есть на аудиторию в 300 человек разница в результатах может быть равна статистической погрешности. Ведь вы никогда не узнаете, почему 3–4 потенциальных покупателя так и не совершили целевое действие — потому что у них не возникло интереса или потому, что они запланировали в этом месяце отпуск или поход к стоматологу. Таким образом, тестировать лучше с максимальным охватом ЦА.
· Ошибка 5. Слишком ранние выводы.
Если тестирование уже на второй или третий день даёт однозначные результаты, это ещё не повод его прекращать. Самый минимальный срок проведения А/В теста — неделя. Потому что за 7 дней мы охватываем и все будни, и выходные. Так мы видим кривую совершения целевых действий в зависимости от дней недели. А ещё лучше, конечно, выждать в течение месяца. На практике известны случаи, когда конечные результаты очень отличались от начальных.
Предлагаем еще прочесть
