Урок №5. Как провести A/B сплит-тестирование

Первое правило маркетолога - «Тестируй». Во-первых, потому что проще продавать людям то, что они хотят. Во-вторых, потому что только с помощью тестов можно понять — все ли вы выжали со своей рассылки.

Как это происходит в теории:

Берется какой-то процент ваших подписчиков (вы сами можете его задать). Они делятся на равные части и им отсылаются разные письма. А потом смотрят на результат и делают выводы. Дальше покажу, как это на практике, а пока важный список.

1.Что можно тестировать:

1. Открываемость:

  • Тема письма - с персонализацией или без, работает ли знак вопроса в конце темы, длина заголовка, работает ли призыв к действию;
  • Прехедер (начальный текст, который отображается в некоторых сервисах рядом с темой) - работает или нет.
  • Отправитель - можно протестировать как люди реагируют на разные адреса и отправителей. Например, как ваши клиенты открывают письма от Ивана Рождественского, Ивана Анатольевича или Иван (UniSender)?
  • Когда ваши клиенты читают письма? Можно легко проверить время отправки.

2. Текст:

  • Как влияют заглавия и подзаглавия;
  • Длину текста - написать два разных текста об одном предложении и сравнить, в каком тексте лучше кликали по ссылкам;
  • Оформление - считаете, что лучше писать клиентам зеленым цветом на красном фоне? Это тоже можно протестировать:). А если серьезно, то тут широкий круг для экспериментов и копирайтинга.
  • Картинки - нужны ли они. Тоже можно проверить.
  • Помогает ли уникальный шаблон - если вы решили заказать корпоративный шаблон email, то сможете протестировать, как выросли показатели.

3. Кликабельность:

  • Что лучше ссылки или кнопки?
  • Сколько ссылок нужно в письме?
  • Где нужно расположить ссылки?
  • Стоит ли «прятать» кнопки или оставлять так, как есть.

4. Конверсию:

  • если у вас подключена веб-аналитика, измерение конверсии — самое необходимое. Как измеряется отдача от рассылки поговорим в уроке

И естественно в UniSender это можно протестировать. Все, кроме времени прочтения писем и конверсии тестируется с помощью функции «Сплит-тест».

2.Как провести тестирование?

Рассмотрим на примере.
Предположим, что мы хотим узнать какая кнопка в письме работает лучше, даст больше конверсию:

  1. вариант - синяя
  2. вариант - красная

Как выглядит кнопка:

Чтобы протестировать кнопки, создадим копию письма:

В скопированное письмо нажимаем на вкладку «Изменить параметры рассылки»:

Меняем тему письма на «Вариант 2». Делаем это для наглядности.  В случае, когда вы тестируете кнопку, заглавие заменять не нужно. Чтобы не влиять на результат теста. Нажимаем кнопку «Продолжить».

Меняем цвет второй кнопки в редакторе:

Готова вторая кнопка. Нажимаем кнопки «Сохранить» и «Продолжить».

Переходим к настройке параметров «Сплит-теста». Нажимаем кнопку «Провести сплит-тест»:

Открывается окно параметров:

В этом окне вы:

1) Выбираем оба варианта писем. В UniSender можно протестировать до 10 вариантов, которые можно запустить в сплит-тест.
2) Выбрать параметры, по которым будет выбираться победитель:

  • С максимальным количеством переходов
  • С максимальным количеством открытий
  • Выбрать победителя вручную

Так как у нас в примере кнопка, мы выбираем «С максимальным количеством переходов». По какой кнопке пользователи будут больше кликать.

Другие варианты из списка:

  • «С максимальным количеством открытий» - в случае тестирования время или тему письма.
  • «Выбрать победителя в ручную» - если не знаете, что тестировать. К примеру, подходы.  

3) Указываем аудиторию.

Смысл сплит-тестирования - отправить лучшее письмо на большую аудиторию.

Выбираем часть аудитории:

В нашем примере - 20% от общей аудитории. На эту часть списка отправляем 2 варианта. 10% - получат первый вариант, другие 10% - второй вариант.

Подписчики выбираются случайно. После сплит-теста посмотрим на результаты рассылки. 80% аудитории - получат лучший вариант письма.

4) Установим время тестирования. Сплит-тест будет рассчитан на 30 минут:

Рекомендуется указывать не менее 3-х часов. Это оптимальное время, за которое люди открывают письма. Если аудитория неактивная, медленная (которая редко проверяет почту), то указываем промежуток 1 - 2 дня.

5) Письмо можем отправить «Прямо сейчас» или «Запланировать отправку» на другое время и дату.

6) Настраиваем интеграцию с Google.Analytics/Яндекс.Метрика, ставим галочку и включаем настройки:

Готово! Сплит-тест создан.

Нажимаем кнопку «Отправить»:

Открывается окно «Отчет по сплит-тесту». Здесь показаны отчет и статистика по двум вариантам писем:

Готово! Поздравляем, теперь вы умеете проводить сплит-тестирование.