Outil gratuit

Calculateur de significativité A/B test

Entrez les visiteurs et les conversions de chaque version. L'outil calcule la probabilité que B batte A.

Vos chiffres

Visiteurs Conversions A · Contrôle B · Variante

Méthode bayésienne, a priori Beta(1, 1), 100 000 tirages.

Probabilité que B batte A

–

Gain attendu
–
Intervalle à 95 %
–
Risque si vous choisissez B
–

A · Contrôle B · Variante

Verdict : –

Au-delà de 95 %, je déploie. Entre 80 et 95 %, je laisse tourner. En dessous, on garde A et on teste une autre hypothèse.

Le verdict est prêt.

Laissez votre email pour le voir. En bonus, un A/B test décortiqué par mois : hypothèse, chiffres, verdict. Rien d'autre.

Gratuit. Désinscription en 1 clic.

Ce calcul vous dit quelle est la probabilité que la variante B fasse mieux que l'original A. Contrairement à beaucoup de calculateurs de significativité A/B test, il ne donne pas une p-value difficile à interpréter, mais un pourcentage direct. Vous savez s'il faut déployer B, laisser tourner le test ou garder A.

À quoi sert ce calcul

Il sert à prendre la décision finale d'un test. L'approche fréquentiste donne une p-value : la probabilité d'observer un tel écart si A et B étaient identiques. Elle ne dit pas la probabilité que B soit meilleur, et c'est l'erreur de lecture la plus courante.

L'approche bayésienne répond à la question que pose une équipe : vu les données, quelle est la probabilité que B batte A ?

Comment remplir l'outil

  • Visiteurs de A et conversions de A.
  • Visiteurs de B et conversions de B.

Utilisez le KPI principal défini dans l'hypothèse, et seulement lui. Avant de lire le résultat, vérifiez deux choses : la durée prévue est atteinte, et le test ne présente pas de SRM.

Comment lire le résultat

L'outil affiche le taux de conversion de chaque version, l'écart relatif et la probabilité que B batte A. Mes règles :

  • Au-delà de 95 % : je déploie B.
  • Entre 80 et 95 % : je laisse tourner, dans la limite de la durée prévue.
  • En dessous de 80 % : rien ne montre que B fait mieux. A reste en place et je note ce que le test a appris.

Ne lisez pas le chiffre chaque jour pour vous arrêter au premier passage au-dessus de 95 %. Les premiers jours fluctuent beaucoup. La décision se prend à la fin de la durée calculée.

La formule expliquée simplement

Pour chaque version, le calcul construit une loi Bêta à partir des conversions et des non-conversions. Elle décrit les taux de conversion plausibles, compte tenu des données.

Le calcul tire ensuite un grand nombre de valeurs dans ces deux lois et compte la part des tirages où le taux de B dépasse celui de A. Cette part est la probabilité affichée. Plus il y a de visiteurs, plus les lois se resserrent et plus la probabilité se détache de 50 %.

Exemple

A reçoit 12 000 visiteurs pour 360 conversions (3,00 %). B reçoit 12 000 visiteurs pour 410 conversions (3,42 %), soit +13,9 %. La probabilité que B batte A est d'environ 96,6 %. Au-delà de 95 %, je déploie B.

Sur les mêmes données, un test fréquentiste bilatéral à 95 % donne p = 0,067, donc non significatif. Les deux ne se contredisent pas : le test bilatéral demande si A et B diffèrent dans un sens ou dans l'autre, le calcul bayésien demande si B fait mieux. C'est pour ça que je fixe la durée et la taille d'échantillon avant le lancement.

Questions fréquentes

Comment savoir si un A/B test est significatif ?

Calculez la probabilité que B batte A à partir des visiteurs et conversions de chaque version. Au-delà de 95 %, le résultat est assez solide pour déployer B. Le calcul n'a de valeur que si la durée prévue est atteinte et si la répartition du trafic est correcte.

Quelle différence entre test bayésien et test fréquentiste ?

Le fréquentiste donne une p-value, la probabilité d'observer un tel écart si les deux versions étaient identiques. Le bayésien donne la probabilité que B soit meilleur que A. Le second se lit directement et correspond mieux à la décision à prendre.

Que faire si la probabilité reste entre 80 et 95 % ?

Laisser tourner le test jusqu'à la fin de la durée prévue. Le signal va dans le bon sens, mais il n'est pas assez net pour déployer. Si la durée maximale est atteinte sans franchir 95 %, B n'a pas démontré son avantage et A reste en place.

Le calculateur fonctionne-t-il pour un autre KPI que la conversion ?

Oui, tant que le KPI se compte en oui ou non par visiteur. Je l'utilise aussi pour l'ajout au panier ou le début de paiement. La loi Bêta est faite pour ce type de taux. Le panier moyen ou le chiffre d'affaires par visiteur sont des montants : ils demandent une autre méthode de calcul.

Avant de lire le résultat, vérifiez le SRM, puis chiffrez le gain en euros. Toute la méthode est dans le guide calculateur A/B test.

Outils CRO gratuits

Les autres outils.

Votre email débloque déjà tous les outils de la boîte.

Voir tous les outils CRO →