Co je Velikost vzorku?
Také: Sample size
Kolik návštěvníků musí projít každou variantou A/B testu, aby šlo rozdíl mezi nimi spolehlivě poznat. Záleží na konverzním poměru a na tom, jak malý rozdíl chcete zachytit.
Kdy a k čemu se Velikost vzorku používá
Spočítáme ji před spuštěním testu. Podle ní víme, jestli má test na daném webu smysl a jak dlouho poběží.
Jak se Velikost vzorku počítá
Návštěvníci na variantu ≈ 16 × p × (1 − p) ÷ d², kde p je konverzní poměr a d rozdíl, který chcete zachytit
Konverzní poměr je 2 % a chcete poznat zlepšení o pětinu, ze 2 na 2,4 %. Rozdíl d je 0,004. Na variantu potřebujete 16 × 0,02 × 0,98 ÷ 0,004² ≈ 19 600 návštěvníků, celkem asi 39 000.
Při 1 300 návštěvnících denně poběží test zhruba měsíc.
Na co si dát pozor
Vzorec je zjednodušení pro 95% jistotu a 80% šanci rozdíl zachytit. Na přesný výpočet použijte kalkulačku velikosti vzorku.
Malý web často nemá návštěvnost na test malých změn. Tam testujeme jen velké změny, jako je nová nabídka nebo nová produktová stránka.