Зачем вообще A/B-тестировать
Интуиция часто врёт. Маркетолог уверен, что красная кнопка работает лучше синей. Дизайнер уверен, что новый первый экран приведёт к росту конверсии. Собственник уверен, что длинный лендинг продаёт хуже короткого.
A/B-тест это способ проверить интуицию цифрами. Две версии лендинга, трафик делится 50/50, через некоторое время видно, какая версия даёт больше заявок.
Важное предостережение. A/B-тестирование эффективно только при достаточном трафике. На лендинге, который получает 100 визитов в день, тесты почти бессмысленны - объём выборки слишком мал для статистической значимости. Это инструмент для проектов от 500-1000 визитов в сутки.
В этой статье разбираю, что тестировать, как правильно, какой объём данных нужен, какие инструменты использовать.
Что тестировать в первую очередь
Не каждый элемент на лендинге одинаково влияет на конверсию. Есть 5 точек, которые дают наибольший эффект при тестировании.
- Заголовок первого экрана. Самый большой рычаг. Смена формулировки может дать 20-50% прироста или падения.
- CTA-кнопка. Текст кнопки. Замена “Оставить заявку” на “Узнать цену за 20 минут” типично даёт 15-40%.
- Оффер. Формулировка цены или условий. “От 15 000” против “15 000 под ключ без допов”.
- Форма. Количество полей, расположение, тип ввода.
- Первый визуал. Фото vs видео vs иллюстрация на первом экране.
Тестировать цвет кнопки или размер шрифта по отдельности смысла мало. Эффект небольшой, требует огромной выборки для подтверждения.
Не тестируйте мелочи на маленьком трафике
Типичная ошибка новичков в A/B: “посмотрю, какой цвет кнопки лучше - красный или оранжевый”. На 200 визитах разница в конверсии 2,8% vs 3,1% это шум, не закономерность. Но маркетолог считает её значимой и принимает решение.
Правило. Если ожидаемая разница меньше 20%, нужен трафик от 10 000-20 000 визитов на каждую версию для достоверного результата. Если разница 50% и выше, достаточно 1000-2000 визитов.
Для малого трафика работает простое правило: тестируйте только крупные изменения. Смена заголовка, смена оффера, смена CTA. Мелкую оптимизацию оставьте на потом.
Как правильно делить трафик
Базовая схема: 50/50 между версией А и В. Есть нюансы.
Равномерное разделение
Инструмент тестирования показывает каждому посетителю случайно одну из версий. 50% видят А, 50% видят В. Это стандарт.
Более консервативное разделение
80/20 в пользу базовой версии. Используется, когда тестируется рискованное изменение и вы не хотите рисковать всем трафиком. Минус - дольше набирается статистика по новой версии.
Проблема возвратного трафика
Если посетитель приходит на лендинг два раза, важно показать ему одну и ту же версию. Иначе он увидит два разных лендинга и запутается.
Правильные инструменты решают это через cookies или локальные идентификаторы. Посетителю запоминается версия при первом визите, последующие показы той же версии.
Проблема сезонности и источников
Если тестируете в понедельник утром, а реклама идёт только в будние дни, воскресный трафик (из SEO, прямых заходов) не покажет картину. Тестируйте минимум неделю, желательно 2, чтобы сгладить колебания.
Какой объём выборки нужен
Минимальный объём зависит от:
- Текущей конверсии лендинга.
- Ожидаемой разницы между версиями.
- Уровня статистической значимости (обычно 95%).
Ориентиры для уровня значимости 95% и текущей конверсии 3%.
| Ожидаемая разница | Минимум визитов на каждую версию |
|---|---|
| 10% | 50 000 |
| 20% | 15 000 |
| 30% | 7 000 |
| 50% | 3 000 |
| 100% | 1 000 |
Калькуляторы объёма выборки есть онлайн (Optimizely, AB Test Guide, Статистический калькулятор Яндекс.Метрики).
Практический совет. Если у вас 500 визитов в день, рассчитывайте тест минимум на 2-3 недели с ожидаемым эффектом не меньше 30%. Для более мелких изменений тест не наберёт статистики.
Инструменты для A/B-тестирования
Ассортимент решений в 2026 году.
Бесплатные
- Яндекс.Метрика (Эксперименты). Встроенный инструмент, работает с Директом и общим трафиком. Основной минус - требует настройки целей, не всегда интуитивен.
- Google Optimize. Закрыт в сентябре 2023. Не используется.
- Ручное разделение. Два URL, каждый раз редиректите 50% трафика. Подходит для разовых тестов.
Платные
- VWO (Visual Website Optimizer). От 300 долларов в месяц. Мощный инструмент, визуальный редактор.
- Convert.com. От 100 долларов в месяц. Для средних проектов.
- AB Tasty. Корпоративный уровень, от 1000 долларов.
Российские альтернативы
- Skillbox Experiments. Недорогой инструмент для малого бизнеса.
- AB Test Calculator от Ringostat. Бесплатный калькулятор выборки.
Для большинства проектов Яндекс.Метрика плюс простая логика на JavaScript покрывает 80% задач без затрат.
Пример практического теста
Клиент, лендинг по обучению фитнес-тренеров. Трафик 800 визитов в день, конверсия 2,4%.
Гипотеза
Первый экран “Онлайн-курс для фитнес-тренеров” слабо зацепляет. Замена на конкретный результат усилит конверсию.
Версии
- А (текущая): “Онлайн-курс для фитнес-тренеров. 12 модулей за 8 недель”.
- В (новая): “Научу вас поднять доход тренера с 60 000 до 150 000 за 3 месяца. 140 учеников сделали это”.
Параметры теста
- Разделение 50/50.
- Продолжительность 14 дней.
- Ожидаемый эффект 30%+.
- Ожидаемый объём трафика: 800 × 14 / 2 = 5 600 визитов на каждую версию.
Результат
- Версия А: 136 заявок на 5640 визитов = 2,41%.
- Версия В: 217 заявок на 5580 визитов = 3,89%.
- Прирост 61%, статистически значим.
Версия В раскатывается на весь трафик, тест закрыт.
Что делать после теста
Выиграла версия В. Следующие шаги.
- Переносите В в продакшн как основную.
- Начинаете новый тест по следующему по значимости элементу (CTA, форма, блок цены).
- Документируете результаты. Через год будет ценная база знаний: что работает, а что нет.
Важно. После каждого теста побеждает не “лучшая” версия, а “лучшая из двух протестированных”. Может быть ещё третья, лучше обеих. A/B-тестирование это итеративный процесс.
Типичные ошибки A/B-тестирования
- Остановка теста при первом “значимом” результате. Если через 3 дня В выигрывает, не значит, что так и будет через 14 дней. Статистика колеблется.
- Тестирование на очень малом трафике. 100 визитов в день и тест с ожидаемым эффектом 10% - пустая трата времени.
- Изменение нескольких параметров сразу. Если меняете и заголовок, и CTA, и форму - невозможно понять, что именно дало эффект.
- Сравнение разных периодов. “На прошлой неделе было 3%, на этой 4% после изменений”. Это не A/B, это последовательное сравнение. Не валидно из-за сезонности.
- Игнорирование сегментов трафика. Версия В может лучше работать для мобильного, но хуже для десктопа. Проверяйте срезы.
Вывод
A/B-тестирование лендинга работает при трафике от 500-1000 визитов в сутки и тестировании крупных изменений (заголовок, оффер, CTA, форма). Минимум выборки зависит от ожидаемой разницы - для 30% разницы нужно 7000 визитов на каждую версию. Инструменты: Яндекс.Метрика (Эксперименты) для базовых задач, VWO и подобные для продвинутых. Стандартное разделение 50/50, продолжительность минимум 2 недели для сглаживания сезонности.
Смежные материалы: Яндекс.Метрика на лендинге, Почему лендинг не даёт заявок и CTA-кнопка на лендинге.
