Главное меню
Категории меню

Опубликовано in А/Б эксперименты, Инструменты продаж

А-Б сплит тестирование бесплатно через Яндекс Метрику

А-Б сплит тестирование бесплатно через Яндекс Метрику

Для проведения А-Б сплит тестирования с помощью Яндекс Метрики нужно немного поковыряться в коде.

Для тех кто что то понимает в JavaScript и немного владеет программированием эта статья.

Кто далек от этого — можете даже не читать этот пост.

Для проведения А-Б тестирования с помощью Яндекс Метрики нам понадобиться ее подключить на сайт. Ну это Вы уже знаете как делать я думаю).

Теперь о том как это реализовано. Сразу скажу — настройку целей Яндекс Метрики в этом посте я пропущу. Это отдельная тема.

Будем считать что цели вы уже настроили.

Теперь собственно о том что нужно добавить на лендинг, чтобы заработало А-Б тестирование.

Во первых подключить библиотеку JQuery: http://code.jquery.com/jquery-2.1.4.min.js

И подключить библиотеку JS Cookie: https://github.com/carhartl/jquery-cookie

Дальше пишем простой Javascript:

var yaParams={};

jQuery(document).ready(function($) {

yaParams.ab_delphilite=’Без стрелки и красной формы ввода‘; //описание варианта 1

var pagename=window.location.pathname; //получаем название папки из url
pagename=pagename.replace(/\//g,»);// убираем /

/////////А/Б тестирование/////////////////////////////////
if(typeof($.cookie(‘variant_’+pagename))==’undefined’) $.cookie(‘variant_’+pagename, Math.random()>0.5, { expires: 365, path: ‘/’ });

if($.cookie(‘variant_’+pagename)==»true»){

yaParams.ab_delphilite=’Красная стрелка и красная форма ввода‘;//описание варианта 2

//изменения которые применяются в Варианте 2
$(‘form’).addClass(‘has-error’); // выделяем красным форму ввода
$(‘#arrow’).removeClass(‘hidden’); // показываем стрелку

} //иначе стандартный вариант

});

Выделенное жирным замените на любые свои данные.

А выделенное красным — это JavaScript код который меняет что то на странице для Варианта Б. Там могут быть любые операции — замена CSS стилей, замена текста, картинок и т.п.

Пример скрипта можно скачать тут.

В кратце что тут происходит:

У меня все лендинги на одном домене в подпапках, для удобства.

В куки пишется название папки и в качестве значения  1 или 2.

1 или 2 определяется случайным образом. Зайди по варианту 2 пользователю в следующий раз уже не «бросается монетка», сразу выбирается вариант 2 из кук.

А в метрику не забудьте передать параметры:

(function (d, w, c) { (w[c] = w[c] || []).push(function() { try { w.yaCounter32196919 = new Ya.Metrika({ id:32196919, clickmap:true, trackLinks:true, accurateTrackBounce:true, webvisor:true, trackHash:true, params: yaParams  }); } catch(e) { } });

var n = d.getElementsByTagName(«script»)[0], s = d.createElement(«script»), f = function () { n.parentNode.insertBefore(s, n); }; s.type = «text/javascript»; s.async = true; s.src = «https://mc.yandex.ru/metrika/watch.js»;

if (w.opera == «[object Opera]») { d.addEventListener(«DOMContentLoaded», f, false); } else { f(); } })(document, window, «yandex_metrika_callbacks»);

На самом деле там не так много нужно менять для теста.

За один тестовый период тестируется 1 элемент. Чтобы понять — влияет ли он на результаты или нет.

Ну это мой метод. Некоторые полностью меняют страницу со всем дизайном. Но на мой взгляд это не очень интересно.

Сплит тесты предназначены для того чтобы выяснить какой элемент работает лучше.

Вот пример проведение А/Б сплит теста двух страниц. Вариант А — без стрелки:

2015-10-16_083055

Вариант Б — со стрелкой:

2015-10-16_083107

Вот как выглядят предварительные результаты в Яндекс Метрике в отчете «Параметры визитов», без фильтра по цели «подтвердил подписку»:

Вот такой отчет получился:

2015-10-16_082601

А вот с фильтром — «Подтвердил подписку»:

2015-10-16_082621

Смотрим на цифры, выделенные желтым.

Но как определить — достоверны результаты или нет?

Чтобы посчитать достоверность можно использовать этот инструмент: http://krotovroman.ru/ab

Вводим полученные цифры в онлайн калькулятор достоверности и получаем ответ — какой вариант выиграл и с какой достоверностью! В скрипте используются формулы из «математической статистики» — был у нас такой предмет в универе. Не зря я все таки учился на математика 🙂

2015-10-17_102824

 

Как видите выиграл вариант А и теперь я уверен на 98,52% что красная анимированная стрелка ухудшает конверсию на 37,72%.

При подсчете результатов я все же решил брать не цель «Подтвердил подписку», а цель «Отправил данные формы». Потому что на подтверждение подписки еще влияет доставляемость писем и страница призыва подтвердить подписку (после ввода данных).

Результаты меня конечно удивляют, потому что я думал что вариант Б с красной анимированной стрелкой будет лучше, но тесты показали обратное.

Это не просто «баловство» и никому не нужные «циферки», как Вам может показаться. Это знание! Знание того что действительно лучше для продаж. Теперь при создании лендингов Вы будете знать точно что добавлять такие стрелки «плохо» и это не прибавит Вам прибыли в карман.

Видите как интересно сплит тестирование — то что Вам кажется более красивым далеко не всегда повышает прибыль!

Никого не слушайте, даже себя!

Если вам скажут что какая то примочка сделает ваш сайт «лучше» или если вы считаете что эта красивая летающая лягушка на сайте сделает его круче, то лучше сделайте сплит тестирование и вы узнаете правду.

Я придумал новую рубрику для моего блога — А/Б эксперименты. Я буду периодически выкладывать результаты тестов и Вы будете видеть что работает лучше, какие элементы и страницы эффективнее. Так, например, с помощью этого первого эксперимента я навсегда увеличил конверсию лендинга с 9% до 13% на однородном трафике с Яндекс Директ.

Вот что я планирую еще протестировать и поднять конверсию до максимума:

Конечно при проведении таких тестов конверсии нужно руководствоваться несколькими правилами:

  1. Однородный трафик
  2. Достаточный объем данных для проведения итогов (чем больше тем точнее результат)
  3. Достаточный временной интервал (чем больше тем точнее результат)

Почему это так важно? Все дело в том, что на результаты эксперимента влияют множество факторов, а не только то что находится на странице. Для улучшения качества результатов нужно проводить эксперименты при одинаковых условиях и на большой выборке.

Неоднородный трафик из разных каналов может сильно исказить результаты. Малый объем данных даст ложные результаты. Слишком малый временной интервал времени так же повлияет на конверсию, потому что в разное время суток внимательность посетителей может быть разной.  Да, именно так — внимательность. На принятие решения выполнить целевое действие на посетителя может так же оказывать фактор времени суток, дня недели, сезонность спроса и т.д.

По большому счету факторов влияющих на конверсию невероятно много и Вы далеко не на все из них можете повлиять при проведении теста. Поэтому даже столь точные цифры, которые выдает статистика являются относительными.

Но это все теоретические рассуждения. Соблюдение 3-х вышеуказанных правил вполне хватит для проведения достоверного теста. Иначе можно совсем свихнуться просчитывая все факторы которые могут произойти (Скорость ветра, температуру воздуха, марку пива, которое пьет посетитель сидя за компом и просматривая Ваш лендинг :-)).

Все таки нам эти данные нужны для зарабатывания денег а не только для научных целей.

Мысль дня:

«Хорошие дизайнеры редко становятся хорошими рекламистами, поскольку увлекаются внешней красотой и забывают о продажах.»

© Джеймс Рэндольф Адамс

Нет комментариев

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *