Co je A/B test?
Také: Split test
Experiment, ve kterém návštěvníci webu vidí náhodně buď variantu A (kontrola), nebo variantu B (změna). Vyhodnocuje se rozdíl v konverzním poměru.
Kdy a k čemu se A/B test používá
Nástroj pro ověření CRO hypotézy. Bez předem definované hypotézy, primární metriky a statistické signifikance je to jen hádání.
Příklad z praxe
Polovina návštěvníků vidí produktovou stránku s recenzemi pod cenou, druhá polovina bez nich. Obě skupiny přicházejí ve stejnou dobu ze stejných zdrojů. Po měsíci porovnáme konverzní poměr a rozhodne číslo, ne názor.
Na co si dát pozor
Testujte jednu hypotézu najednou. Když změníte nadpis, fotku i cenu, nepoznáte, co výsledek způsobilo.
Na webu s malou návštěvností běží test malé změny celé měsíce. Spočítejte si velikost vzorku dřív, než test spustíte.