Маркетолог поменял тему письма, фотографию и текст кнопки. Переходов стало больше. Какая правка помогла — и помогла ли эта правка? Если одновременно изменились аудитория и день отправки, по одному сравнению этого не узнать.
A/B-тесты в рассылках помогают проверить заранее сформулированный вопрос. Разберем, как выбрать изменение, разделить аудиторию и принять решение без поспешного объявления победителя. Все числа и ситуации ниже учебные, реальные отправки для статьи не запускались.
Начните с решения, ради которого нужен тест
«Улучшить рассылку» слишком широко для одного эксперимента. Полезнее назвать затруднение: получатели не понимают, куда ведет кнопка, или тема плохо объясняет содержание. Затем сформулировать предположение о том, какая правка изменит конкретное действие.
Учебная гипотеза: подпись «Посмотреть размеры» понятнее, чем «Подробнее», в письме с подборкой органайзеров. Проверяем переход к таблице размеров, сохраняя содержание, ссылку, предложение и время одинаковыми для вариантов. Если одновременно дать одному варианту скидку, вопрос о подписи потеряется.
Хороший план заранее связывает изменение и наблюдение. Если тестируем текст внутри письма, открытие происходит до знакомства с этим текстом. Основная метрика должна отражать действие, которое правка могла изменить.
В справке Mailchimp об A/B-тестах описаны варианты темы, отправителя, содержания и времени с распределением получателей между комбинациями. Это возможности конкретного продукта, а не требование использовать именно его. Для своего сервиса нужно проверить доступный способ разделения и определения отчета.
Что можно проверять в одном эксперименте
Выбирайте изменение по вопросу читателя и задаче бизнеса. Декоративная разница без объяснения, зачем она нужна, может дать цифры, которые трудно применить.
Изменение | Вопрос | Что наблюдать | Ограничение |
|---|---|---|---|
Тема письма | Яснее ли обозначено содержание? | Доступные показатели внимания и дальнейшего действия | Открытия могут искажаться |
Подпись кнопки | Понятно ли назначение перехода? | Уникальные переходы к нужной странице | Переход не равен покупке |
Порядок блоков | Находят ли люди главное действие? | Выбранное действие и дополнительные сигналы | Сравниваем всю перестановку как один вариант |
Время отправки | Как меняется результат при другом времени? | Одинаковое окно после отправки | Учесть день, часовой пояс и другие сообщения |
Иногда меняют целый вариант подачи, а не один элемент. Это допустимый вопрос: какое из двух предложений работает лучше в заданных условиях? Но вывод будет о вариантах в целом. Нельзя после такого теста приписать результат одному цвету или слову.
Сравнить группы из одной допустимой аудитории
Сначала определите, кому предназначена рассылка и есть ли необходимые основания ее отправлять. Тест не делает нежелательное сообщение допустимым. Из этой аудитории формируют непересекающиеся группы для вариантов.
Случайное распределение уменьшает риск заранее собрать в одной группе более активных покупателей. Оно не гарантирует точное совпадение каждого признака. Поэтому после разделения полезно проверить размер групп и явные проблемы: дубли, пустые адреса, случайно исключенный канал.
Если постоянные клиенты получают вариант А, а новые — Б, разницу нельзя уверенно объяснить письмом. То же касается сравнения с прошлой неделей: могли измениться предложение, наличие товара и состав получателей. История полезна как контекст, но не заменяет одновременное сравнение сопоставимых групп.
Один человек не должен получить оба варианта одного сравнения по ошибке из-за двух записей. Заранее определите единицу распределения: контакт, клиент или другая подходящая сущность. Правило зависит от задачи и качества базы.
В учебном тесте подписи кнопки обе группы получают одинаковую подборку и ведут на одну страницу. Если в одной группе ссылка сломалась, это уже проблема проведения. Такой результат сначала разбирают технически, а не называют победой другого текста.
Выбрать метрику, срок и правило остановки до отправки
Запишите основную метрику заранее. Например, долю получателей, которые перешли по нужной ссылке в согласованном окне. Рядом сохраните знаменатель: все распределенные, отправленные или доставленные письма. Это разные определения.
Знаменатель лучше выбирать так, чтобы он отвечал вопросу и не скрывал проблему доставки. Можно считать основной результат по распределенным получателям, а доставку показывать отдельно. Если используете другой метод, поясните его и одинаково примените к вариантам.
Добавьте защитные показатели: ошибки доставки, жалобы, отписки или другое существенное последствие. Рост переходов не повод игнорировать ухудшение, которое важно для команды. При этом не нужно собирать десятки показателей без плана их использования.
Окно наблюдения связано с действием. Переход может произойти быстро, покупка — позже. Если одному варианту дали 3 дня, а другому несколько часов, сравнение времени неравное. Срок и условия завершения стоит сохранить до получения первых цифр.
Не заканчивайте обычный тест в первый момент, когда один вариант оказался выше. Частый просмотр с остановкой по удобному результату меняет свойства проверки. Для последовательного анализа нужен заранее выбранный подход; обычное наблюдение за растущими счетчиками его не заменяет.
Как понять, хватит ли данных
Универсальной базы «достаточной для A/B» нет. Объем зависит от исходной частоты события, разницы, которую важно заметить, и выбранного метода оценки. Для редких покупок может понадобиться больше наблюдений, чем для частых переходов.
До запуска определите минимальное изменение, ради которого команда готова менять письмо. Затем оцените необходимый объем с человеком, отвечающим за анализ, или проверенным расчетным методом. Выбор объема после просмотра результата создает риск подогнать решение под цифры.
Если аудитория мала, полезно упростить вопрос. Вместо нескольких вариантов и редкой покупки можно изучить один понятный переход, если это соответствует цели. Но замена метрики меняет и вывод: результат о кликах не доказывает рост прибыли.
Отсутствие ясного различия не означает, что тексты одинаковы во всех смыслах. Возможно, текущие данные слишком неточны для нужной разницы. В отчете стоит разделить «не нашли убедительного различия» и «доказали отсутствие эффекта».
Открытия и клики тоже требуют проверки
Открытие в отчете часто связано с загрузкой содержимого письма, а не с наблюдением за чтением человеком. В FAQ Mailchimp об Apple Mail Privacy Protection объясняется влияние фоновой загрузки на показатели открытия. Поэтому использовать их как точный счет прочитавших нельзя.
В инструкции Mailchimp по созданию теста для проверки содержания рекомендуют ориентироваться на клики, а не открытия: содержание человек видит уже после открытия. Это полезная связь метрики с изменением, но клики тоже нужно проверять по определениям своего отчета.
Сохраните, как сервис учитывает уникальность и автоматические действия. Один получатель может перейти несколько раз. Часть событий может быть связана с проверкой ссылок почтовой инфраструктурой. Если отчет предлагает фильтрацию таких событий, уточните ее условия и одинаково примените к вариантам.
Покупку стоит связывать с согласованным окном и правилом учета. Если заказ случился после письма, это еще не доказательство, что письмо стало причиной. Сравнение случайных групп помогает оценивать разницу, но качество событий и соблюдение плана остаются важны.
Учебный расчет: выше на 1 пункт — не готовая победа
Допустим, в каждой группе по 500 распределенных получателей. В А за выбранный период 20 человек перешли по нужной ссылке, в Б — 25. Доли составляют 20 / 500 = 4% и 25 / 500 = 5%.
Разница — 1 процентный пункт. Относительно 4% это рост на 25%. Обе записи математически верны, но передают разный масштаб. Поэтому рядом с относительным изменением полезно показывать исходные доли и количества.
Из этих арифметических действий нельзя заключить, что Б надежно лучше. Нужна оценка неопределенности по заранее выбранному методу и проверка качества проведения. Мы не рассчитывали для этого учебного примера статистическую значимость и не выдаем его за результат кампании.
Проверьте также дальнейший путь. Допустим, страница объясняет размеры, а новая кнопка привлекла тех, кто ожидал скидку. Переходов станет больше, но содержание обещания окажется неточным. Такую проблему можно заметить по поведению на странице и обращениям, не меняя задним числом основную метрику.
Карточка эксперимента, которую можно передать коллеге
Короткий план помогает сохранить вопрос, пока команда занята подготовкой письма. Учебный пример:
Гипотеза: подпись «Посмотреть размеры» понятнее обозначает назначение ссылки, чем «Подробнее». Меняем только подпись кнопки, остальное сохраняем.
Аудитория: одна согласованная группа допустимых получателей, случайное непересекающееся распределение. Основная метрика: доля получателей с переходом по нужной ссылке по зафиксированному определению.
До запуска согласовать объем, окно наблюдения, оценку неопределенности и защитные показатели. Решение: применить вариант, сохранить прежний или признать результат неясным — по плану, а не по первому перевесу.
После завершения добавьте фактические количества, ошибки и принятое решение. Если проведение нарушилось, это стоит назвать прямо. Повторный эксперимент с исправленной ссылкой полезнее уверенного вывода по сломанной кампании.
Как выбрать полезную гипотезу для следующего теста
Источником может быть конкретный вопрос аудитории. Если люди не понимают, подойдет ли товар по размеру, можно проверить ясность перехода к таблице размеров. Но сначала убедитесь, что сама таблица доступна и отвечает на вопрос.
В аналитике отзывов Спикс темы обратной связи помогают увидеть повторяющиеся вопросы покупателей. Они дают повод сформулировать гипотезу о содержании. Сам эксперимент и его оценку проводят в системе рассылок и аналитики, не в Спиксе.
Сохраните журнал тестов: вопрос, варианты, период, аудитория, результат и решение. Он помогает не проверять одно и то же без учета прежних ограничений. Вывод для одной подборки и периода не стоит автоматически переносить на все письма компании.
Что проверить в письме и на странице до эксперимента
Тест не должен начинаться с поиска опечаток в рабочей отправке. Проверьте варианты на согласованных учебных записях: имя и другие подстановки, вид кнопки, конечную страницу и наличие нужного товара. Предварительная проверка качества и сам эксперимент отвечают на разные вопросы.
В примере с размерами обе подписи должны вести к одной таблице. Если вариант Б открывает карточку другого товара, результат смешивает текст кнопки и страницу назначения. Если таблица скрыта под недоступным на телефоне блоком, проблема тоже выходит за пределы подписи.
Проверьте, что метки вариантов сохраняются до нужного действия и не меняют сам пользовательский путь. Разные технические обозначения в отчете полезны для учета, но получатель не должен попадать в разные условия покупки случайно.
Отдельно посмотрите расписание других сообщений. Один вариант не должен совпасть с дополнительной кампанией только потому, что его отправили позже. Если тестируется именно время, зафиксируйте такие условия и учитывайте их при оценке.
Затем сохраните финальные версии. Если письмо исправили после начала отправки, нужно понимать, кто получил прежний текст. Незаметная правка внутри варианта может сделать его неоднородным. Иногда разумнее завершить технический разбор и заново подготовить проверку.
Как написать вывод, который полезен команде
Начните с исходного вопроса, затем покажите наблюдение и решение. «Б понравился аудитории» звучит шире, чем позволяют события. «В Б наблюдали 25 переходов из 500 против 20 из 500 в А; убедительность различия не установлена» точнее описывает наш учебный пример.
Дальше перечислите существенные ограничения: размер и состав аудитории, окно, качество событий и отклонения от плана. Не нужно превращать отчет в перечень всех мыслимых проблем. Оставьте те, которые действительно влияют на вывод.
Если вариант можно применить по заранее согласованному правилу, опишите область решения. Например, только в письмах с этой подборкой и для похожей аудитории. Перенос на другие предложения станет новой гипотезой, особенно если меняется задача получателя.
Когда результат неясен, команда все равно может принять практическое решение по понятности или стоимости подготовки. Важно отделить редакционный выбор от доказанного эффекта. «Оставляем более ясную подпись, но не заявляем рост переходов» — честная запись такого решения.
Наконец, назначьте следующий вопрос. Возможно, аудитории нужна другая информация на странице, а не очередной вариант кнопки. Просмотрите обращения и путь после перехода. Новый тест стоит проводить, когда он помогает выбрать действие, а не просто заполняет еженедельный календарь.
При повторной проверке сохраните связь с предыдущим опытом. Укажите, что изменилось в плане и почему: добавили нужный объем, исправили событие или сузили вопрос. Так журнал станет накопленной историей решений, а не коллекцией несопоставимых процентов.
Полезно отделить техническую остановку от завершения по плану. Если ссылка ведет не туда или сообщения уходят людям, которых исключили, продолжать ради объема не нужно. Зафиксируйте остановку и фактическое проведение. Данные такого случая сначала помогают исправить процесс, а не выбрать рекламный вариант.
Точно так же дополнительный анализ после завершения можно сохранить как исследовательское наблюдение. Допустим, разница заметна только среди повторных покупателей, хотя заранее это не планировалось. Такой результат дает вопрос для новой проверки. Он не равен подтвержденному выводу для выделенной задним числом группы, и его не стоит подавать в отчете как готовое доказательство.
Частые вопросы
Можно ли менять несколько элементов сразу?
Можно сравнивать два составных варианта, если это и есть вопрос теста. Но тогда вывод относится к вариантам в целом. Чтобы узнать влияние одного элемента, остальные существенные условия сохраняют сопоставимыми.
Победитель в кабинете означает доказанный эффект?
Уточните, по какому правилу сервис выбирает его и что именно сравнивает. Максимальная наблюдаемая доля и убедительный вывод с учетом неопределенности — разные вещи. Название в интерфейсе не заменяет план анализа.
Что делать, если результат неясный?
Сохранить неопределенность и выбрать следующий шаг: оставить прежний вариант, упростить вопрос или подготовить новый тест с подходящим объемом. Не нужно объявлять победителя только ради завершения отчета.
Что в итоге
Сохраните исходную карточку вместе с отчетом: при следующем сравнении она объяснит, какие условия действовали.
- A/B-тесты в рассылках начинают с гипотезы и решения, которое нужно принять.
- Разделяйте одну допустимую аудиторию случайно и без пересечения вариантов.
- Согласуйте метрику, объем, срок и анализ до запуска.
- Показывайте количества, доли и ограничения измерения.
- Признавайте неясный результат и сохраняйте контекст каждого вывода.
Источники
- Mailchimp: About A/B Tests. Прочитано 20.10.2026.
- Mailchimp: Create an A/B Test. Прочитано 20.10.2026.
- Mailchimp: Apple MPP FAQs. Прочитано 20.10.2026.
Разбирайте обратную связь покупателей в Спикс
Темы отзывов помогают выбрать, что уточнить в товаре и объяснениях для покупателей. Посмотрите, как организовать эту работу в Спикс.
Попробовать Спикс