Как увеличить конверсию сайта с помощью A/B-тестирования

Короткий ответ

A/B-тестирование помогает проверить, действительно ли изменение сайта влияет на конверсию. Часть аудитории видит контрольный вариант A, другая часть — изменённый вариант B. Затем показатели сравниваются статистически, чтобы отделить возможный эффект изменения от обычных колебаний данных.

Начинать нужно не с идеи «поменяем цвет кнопки», а с подтверждённой проблемы. Сначала найдите участок воронки, где пользователи теряются, сформулируйте одну проверяемую гипотезу, выберите основную метрику и рассчитайте, хватит ли трафика для обнаружения ожидаемого эффекта.

Для сайтов с Яндекс Метрикой A/B-эксперименты можно проводить через Varioqub. Инструмент распределяет посетителей между вариантами и рассчитывает результаты эксперимента. Сам тест не гарантирует рост конверсии: его задача — показать, подтверждается ли конкретная гипотеза на данных.

Что такое A/B-тестирование сайта

A/B-тестирование — контролируемый эксперимент, при котором сопоставимые группы пользователей видят разные версии одного сайта, страницы или элемента. Контрольный вариант обычно обозначают A, изменённый — B.

Например, бизнес предполагает, что пользователи редко отправляют заявку из-за длинной формы. Вместо того чтобы сразу заменить форму для всей аудитории, можно оставить исходный вариант части посетителей, а другой части показать сокращённую версию. После накопления данных сравнивается результат.

A/B-тест позволяет ответить на конкретный вопрос: изменился ли выбранный показатель после контролируемого изменения. Он не объясняет автоматически, почему пользователи ведут себя определённым образом, поэтому гипотезу лучше готовить на основании предварительного анализа.

Как рассчитывается конверсия сайта

Конверсия показывает долю пользователей или визитов, которые совершили выбранное целевое действие. Перед экспериментом важно зафиксировать и само действие, и базу расчёта.

Конверсия = количество целевых действий / выбранная база × 100%.

Целью могут быть:

• покупка. Для интернет-магазина это может быть оформленный или оплаченный заказ;
• заявка. Для сайта услуг — успешно отправленная форма;
• звонок. Если он корректно отслеживается и связан с источником;
• регистрация. Для сервиса или личного кабинета;
• другое бизнес-действие. Например, запись на консультацию или запрос расчёта.

Микроконверсии — просмотр цены, начало заполнения формы, переход в корзину — помогают диагностировать путь, но не всегда подходят как главная метрика бизнеса. Увеличение кликов по кнопке бесполезно, если количество качественных заявок не меняется.

Когда A/B-тест действительно нужен

Эксперимент полезен, когда уже есть конкретная гипотеза и достаточно трафика для её проверки. Он особенно подходит для изменений, результат которых нельзя надёжно определить только по наблюдению.

Например, можно проверить:

• два варианта первого экрана;
• формулировку предложения;
• длину и состав формы;
• порядок коммерческих блоков;
• вариант карточки товара;
• способ отображения цены;
• текст призыва к действию;
• отдельные этапы оформления заказа.

При этом эксперимент не нужен для очевидной ошибки. Если кнопка не работает, форма не отправляется или мобильная версия разваливается, сначала исправьте дефект. Не требуется проверять, повышает ли исправление поломанной формы вероятность успешной отправки.

Когда A/B-тестирование не подходит

Главное ограничение — недостаток данных. Чем меньше трафика и ниже исходная конверсия, тем сложнее статистически отличить небольшой эффект от случайного колебания.

При небольшом трафике сначала полезнее:

• проверить корректность аналитики;
• изучить воронку;
• посмотреть записи сессий;
• проанализировать формы;
• провести пользовательские интервью;
• устранить очевидные технические и UX-проблемы.

Сравнение периода «до» и «после» тоже возможно, но это более слабый способ проверки. Между периодами могут измениться реклама, сезонность, цены, конкуренция и состав аудитории.

Откуда брать гипотезы для A/B-тестирования

Хорошая гипотеза начинается с наблюдаемой проблемы. Сначала найдите место, где пользовательский путь работает хуже ожидаемого, затем определите возможную причину и только после этого предложите изменение.

Для диагностики можно использовать анализ UX и конверсии сайта, цели Яндекс Метрики, Вебвизор, аналитику форм и тепловые карты сайта.

Например, аналитика показывает:

• многие пользователи открывают форму, но не завершают её;
• на смартфонах конверсия заметно ниже при сопоставимом источнике трафика;
• посетители редко доходят до блока с ценой;
• люди пытаются нажимать на элемент, который не является ссылкой;
• после перехода из определённой рекламы пользователи быстро возвращаются назад.

Каждое наблюдение ещё не является доказанной причиной. Оно помогает определить, какую гипотезу следует проверить.

Как правильно сформулировать гипотезу

Хорошая гипотеза содержит проблему, предлагаемое изменение, аудиторию и измеримый результат.

Слабая формулировка: «Сделаем форму удобнее и повысим конверсию».

Более точная формулировка: «Пользователи со смартфонов часто начинают заполнять форму, но не отправляют её. Если сократить количество обязательных полей с семи до трёх, доля завершённых форм среди начавших заполнение может вырасти».

Для системной работы с гипотезами можно использовать тот же принцип, что и в продуктовой аналитике: сначала найти проблему, затем сформулировать изменение, определить метрику и только после этого проводить эксперимент.

Что тестировать: одно изменение или несколько

Если нужно определить влияние конкретного элемента, варианты должны отличаться именно этим элементом. Например, при проверке длины формы не стоит одновременно менять заголовок, цену, изображение и текст кнопки.

Можно тестировать и комплексный новый вариант страницы. Но тогда вывод будет звучать так: «вариант B работает лучше варианта A». Определить, какой именно из десяти внесённых элементов вызвал изменение, уже нельзя.

Поэтому масштаб теста зависит от вопроса:

Как выбрать основную метрику A/B-теста

Основная метрика должна соответствовать гипотезе. Если тестируется оформление заказа, логичнее оценивать завершение заказа, а не только клик по кнопке «Купить».

Дополнительно нужны защитные метрики — показатели, которые не должны заметно ухудшиться. Например, сокращённая форма может дать больше заявок, но одновременно увеличить долю нерелевантных обращений.

Лучший вариант по промежуточной метрике не обязательно лучший для бизнеса.

Как определить размер выборки

Размер выборки нельзя задавать универсальным числом. Он зависит как минимум от исходного значения метрики, ожидаемого эффекта, выбранного уровня значимости и доступного трафика.

В Varioqub для подготовки эксперимента предусмотрен калькулятор. Он помогает оценить, сможет ли выбранная доля аудитории и продолжительность теста обнаружить изменение нужного масштаба.

Полезное понятие здесь — MDE, Minimum Detectable Effect, или минимально обнаружимый эффект. Это размер изменения, который эксперимент способен надёжно заметить при заданных условиях.

Если данных недостаточно, возможны два практических решения:

• увеличить долю аудитории, участвующей в эксперименте;
• проводить тест дольше.

Если даже после этого эксперимент не способен обнаружить изменение, которое имеет практическое значение для бизнеса, запускать его может быть нецелесообразно.

Сколько должен длиться A/B-тест

Правила «ровно 7 дней» или «не больше 14 дней» для сайта нет. В Varioqub можно задать период от 1 до 90 дней. Конкретный срок выбирают с учётом посещаемости и чувствительности теста.

Эксперимент должен охватывать характерный цикл поведения аудитории. Например, если будни и выходные заметно различаются, делать вывод только по первым двум дням рискованно.

Не стоит заканчивать тест сразу после появления кратковременного положительного результата. Правило остановки лучше определить до запуска вместе с размером выборки и ожидаемым эффектом.

И наоборот, не следует продолжать эксперимент бесконечно только ради получения «зелёного» результата. Если накопленные данные показывают, что практически значимый эффект слишком мал или не подтверждается, это тоже полезный вывод.

Что такое статистическая значимость

Статистическая значимость показывает, насколько наблюдаемое различие совместимо со случайными колебаниями при предположении, что реального эффекта нет.

В отчётах Varioqub используется p-value. По умолчанию установлен уровень значимости α = 0,05. Если p-value не превышает 0,05, система отмечает изменение метрики как статистически значимое.

Это не означает, что вариант B «лучше с вероятностью 95%» и не означает, что конверсия должна отличаться минимум на 5%. Размер эффекта и p-value отвечают на разные вопросы.

При оценке результата нужно смотреть одновременно на:

• направление эффекта. Улучшился или ухудшился показатель;
• размер изменения. Насколько отличается тестовый вариант;
• статистическую значимость. Достаточно ли данных, чтобы отделить результат от случайного колебания;
• бизнес-значимость. Имеет ли обнаруженное изменение практический смысл для компании.

Как провести A/B-тест через Varioqub

Varioqub работает совместно с Яндекс Метрикой. Для эксперимента на сайте сначала нужен установленный и корректно работающий счётчик Метрики.

1. Проверьте аналитику. Убедитесь, что основная цель и дополнительные показатели собираются без ошибок.
2. Сформулируйте гипотезу. Зафиксируйте проблему, изменение, аудиторию и ожидаемый результат.
3. Откройте Varioqub. В счётчике Яндекс Метрики перейдите в раздел «Вариокуб» → «Эксперименты».
4. Создайте эксперимент. Укажите название и необходимые параметры.
5. Определите аудиторию. Настройте долю пользователей, страницы, регионы, устройства и другие доступные условия.
6. Выберите метрики. Назначьте показатель, по которому будете принимать основное решение.
7. Настройте варианты. В зависимости от задачи можно использовать доступный тип эксперимента, например визуальное изменение, редирект или изменения через флаги.
8. Проверьте выборку. Используйте калькулятор перед запуском.
9. Проверьте реализацию. Убедитесь, что пользователям действительно показываются правильные варианты и аналитика их различает.
10. Запустите эксперимент. Не меняйте его условия без необходимости во время сбора данных.
11. Изучите отчёт. Сопоставьте статистическую значимость с размером эффекта и бизнес-метриками.

Некоторые функции Varioqub зависят от выбранного тарифа, поэтому перед внедрением следует проверить текущие возможности сервиса.

Как распределять аудиторию между вариантами

В Varioqub при равном распределении трафик по умолчанию делится поровну между вариантами. Общую долю аудитории, участвующей в тесте, можно настроить отдельно.

Равное распределение обычно удобно для классического A/B-теста, потому что варианты быстрее набирают сопоставимый объём данных.

При этом важно, чтобы один и тот же пользователь не хаотично переключался между версиями при повторных визитах. Экспериментальная система должна сохранять принадлежность посетителя к выбранному варианту.

Как интерпретировать результат A/B-теста

После завершения возможны три основных сценария.

Вариант B статистически значимо лучше

Проверьте размер эффекта и защитные показатели. Если улучшение достаточно важно для бизнеса и другие ключевые метрики не ухудшились, вариант можно внедрять.

Вариант B статистически значимо хуже

Гипотеза не подтвердилась в предложенной форме. Это полезный результат: неудачное изменение не нужно раскатывать на всех пользователей.

Статистически значимой разницы нет

Это не всегда доказывает, что варианты абсолютно одинаковы. Возможны как минимум два объяснения: реальный эффект слишком мал или эксперименту не хватило чувствительности, чтобы его обнаружить.

Посмотрите на MDE, размер выборки и продолжительность. Если тест был достаточно чувствительным для бизнес-значимого изменения, отсутствие эффекта можно зафиксировать как результат и переходить к следующей гипотезе.

A/B-тест сайта и A/B-эксперимент в Яндекс Директе — в чём разница

Varioqub предназначен прежде всего для экспериментов с сайтом и пользовательским опытом. A/B-эксперименты Яндекс Директа проверяют изменения рекламных кампаний.

В Директе рекомендуется проверять в одном эксперименте одну гипотезу с одним параметром. Для сайтов и приложений эксперимент можно связать с целями Яндекс Метрики и сравнивать варианты по конверсиям и другим рекламным показателям.

Эти инструменты могут дополнять друг друга, но смешивать результаты двух разных экспериментов в один вывод не следует.

Какие гипотезы стоит тестировать в первую очередь

Приоритет стоит отдавать не самым заметным визуальным изменениям, а проблемам, которые затрагивают важный участок воронки и подтверждены данными.

Чем ближе проблема к значимому целевому действию и чем лучше она подтверждена аналитикой, тем выше практический приоритет гипотезы.

Как связать A/B-тест с качеством заявок

Высокая конверсия формы не всегда означает рост эффективности бизнеса. Упрощение заявки может увеличить количество обращений и одновременно снизить их качество.

Поэтому для коммерческих сайтов желательно связывать тест не только с событиями на странице, но и с последующими статусами:

• целевой или нецелевой лид;
• квалифицированное обращение;
• назначенная встреча;
• оплаченный заказ;
• выручка или маржа.

Если данных о продажах мало, итоговое бизнес-решение может потребовать больше времени, чем накопление обычных веб-конверсий.

Ошибки при A/B-тестировании

Тестировать случайную идею без подтверждённой проблемы

Сам факт, что кнопку можно сделать красной, не является причиной проводить эксперимент. Гипотеза должна исходить из данных о поведении, пользовательских затруднениях или бизнес-воронке.

Менять несколько независимых элементов одновременно

Если цель — определить влияние одного изменения, варианты должны отличаться только им. Иначе невозможно понять причину результата.

Заранее назначать тесту 7 или 14 дней

Продолжительность зависит от трафика и требуемой чувствительности. Фиксированный срок без расчёта выборки может дать как лишнюю длительность, так и недостаточное количество данных.

Считать разницу в 5% статистической значимостью

Процент изменения метрики и уровень статистической значимости — разные понятия. Нужно учитывать p-value, размер эффекта и чувствительность эксперимента.

Остановить тест при первом положительном результате

Кратковременная разница может исчезнуть по мере накопления данных. Условия завершения эксперимента следует определить заранее.

Смотреть только на основную конверсию

Рост формы может сопровождаться падением качества лидов, среднего чека или продаж. Проверяйте показатели, которые защищают экономику бизнеса от формального улучшения одной метрики.

Игнорировать источники и устройства

Мобильный и десктопный сценарии, рекламный и органический трафик могут заметно различаться. Но не следует искать «победивший сегмент» после каждого теста без заранее сформулированной причины: большое количество случайных разрезов увеличивает риск ложных выводов.

Проводить тест на неисправной аналитике

Если цели дублируются, форма не передаёт событие или CRM теряет источник, статистически аккуратный эксперимент всё равно даст неправильный бизнес-вывод.

Что делать, если на сайте мало трафика

Небольшому сайту не нужно любой ценой запускать A/B-тест. Если набор требуемой выборки занимает месяцы, полезнее сначала устранить проблемы, которые можно подтвердить другими способами.

Приоритет можно отдать:

• проверке форм и технических ошибок;
• анализу Вебвизора;
• тепловым картам;
• интервью с клиентами;
• ручному тестированию пользовательского сценария;
• сравнению качественных данных из отдела продаж;
• улучшению очевидно неполной информации на странице.

Если существующая посадочная страница в целом не соответствует задаче и точечные изменения её не исправят, может потребоваться отдельная разработка лендинга, а уже последующие гипотезы можно проверять экспериментально.

Как Webstripe подходит к подготовке гипотез

В открытых материалах Webstripe A/B-тестирование рассматривается как этап после анализа пользовательского поведения, а не как самостоятельный способ придумывать изменения. Сначала проверяются качество данных, источники трафика, страницы, мобильные и десктопные сценарии, Вебвизор, карты и формы.

Затем наблюдения проверяются на повторяемость и превращаются в приоритетные гипотезы. Для рекомендации фиксируется проблема, предлагаемое изменение и метрика, по которой следует оценивать результат.

При этом открытые страницы Webstripe не подтверждают отдельную услугу по настройке Varioqub или собственную платформу A/B-тестирования. Поэтому приписывать агентству такой инструмент без дополнительных данных некорректно.

FAQ

Что такое A/B-тестирование простыми словами?

Это сравнение двух или нескольких вариантов страницы на разных группах пользователей. Цель — проверить по данным, влияет ли конкретное изменение на выбранный показатель.

Сколько должен длиться A/B-тест сайта?

Универсального срока нет. Varioqub позволяет задать период от 1 до 90 дней, но фактическую длительность нужно выбирать по размеру аудитории, исходной конверсии и эффекту, который требуется обнаружить.

Достаточно ли 100 посетителей для A/B-теста?

Универсального минимального числа нет. Для высокой исходной конверсии и очень крупного эффекта может потребоваться меньше данных, для низкой конверсии и небольшого изменения — значительно больше. Выборку следует рассчитывать до запуска.

Что означает p-value 0,05?

P-value используется для оценки совместимости наблюдаемого результата с предположением об отсутствии реального эффекта. В Varioqub по умолчанию используется порог α = 0,05: при p-value ≤ 0,05 изменение отмечается как статистически значимое.

Если вариант B дал конверсию выше на 5%, он победил?

Не обязательно. Нужно понять, является ли разница статистически значимой, насколько велик фактический эффект и важен ли он для бизнеса. Разница в 5% сама по себе ничего не говорит о достоверности теста.

Можно ли одновременно тестировать заголовок и кнопку?

Можно сравнить два комплексных варианта страницы, но тогда нельзя определить вклад каждого элемента. Если задача — понять влияние конкретного заголовка, остальные существенные параметры лучше сохранить одинаковыми.

Что делать, если A/B-тест не показал значимой разницы?

Проверьте чувствительность эксперимента и MDE. Если данных достаточно для обнаружения практически важного эффекта, гипотезу можно считать неподтверждённой и перейти к следующей. Если чувствительность низкая, вывод остаётся неопределённым.

Можно ли проводить A/B-тест в Яндекс Метрике?

Да. Для экспериментов на сайте Яндекс предлагает Varioqub, который использует данные Метрики для распределения аудитории и расчёта результата.

Можно ли A/B-тестировать посадочные страницы в Яндекс Директе?

Да. В актуальных A/B-экспериментах Директа можно сравнивать кампании с разными посадочными страницами, креативами, акциями и настройками. Это рекламный эксперимент, поэтому его механику нужно отличать от тестирования интерфейса сайта через Varioqub.

Гарантирует ли A/B-тест повышение конверсии?

Нет. Эксперимент может подтвердить гипотезу, показать ухудшение или не выявить значимого эффекта. Его ценность состоит в том, что решение принимается по контролируемым данным, а не по субъективной оценке дизайна.

Вывод

A/B-тестирование помогает системно проверять изменения сайта, но само по себе не повышает конверсию. Сначала нужно найти реальную проблему, сформулировать измеримую гипотезу, выбрать основную и защитные метрики и убедиться, что трафика достаточно для проверки.

Для сайтов с Яндекс Метрикой эксперименты можно проводить через Varioqub. Длительность теста и размер выборки следует рассчитывать под конкретную метрику и ожидаемый эффект, а результат оценивать по размеру изменения, статистической значимости и его влиянию на бизнес.

Если гипотеза не подтвердилась, тест всё равно выполнил свою задачу: бизнес получил основание не внедрять изменение для всей аудитории. CRO строится не на поиске одного «идеального» варианта страницы, а на последовательном цикле анализа, гипотез, экспериментов и проверки результата.