Slovník pojmů
CRO a testování
Co je Statistická signifikance?
Míra jistoty, že pozorovaný rozdíl mezi variantami A/B testu není náhoda. Standard v CRO je 95 % (p < 0,05).
Kdy a k čemu se Statistická signifikance používá
Test bez signifikance nelze prohlásit za výhru, i když „vypadá jasně“. Nejčastější zdroj falešných výher a špatných rozhodnutí v CRO.
Příklad z praxe
Varianta A má z 10 000 návštěv 200 objednávek, varianta B 230. Rozdíl vypadá jako 15 % navíc, ale s takhle malými čísly by podobný rozdíl čistou náhodou vznikl zhruba ve 14 % případů. Na 95% jistotu to nestačí a test necháme běžet dál.
Na co si dát pozor
Nekoukejte na výsledek každý den a nevypínejte test, jakmile se objeví signifikance. Výsledky na začátku skáčou a brzké ukončení je nejčastější cesta k falešné výhře. Délku testu určíme předem podle velikosti vzorku.