Calculateur A/B test : les 6 calculs à faire avant, pendant et après

Les 6 calculs d'un A/B test, dans l'ordre

Quatre calculs se font avant le lancement, un pendant, un à la fin. Sauter les quatre premiers est l'erreur la plus coûteuse que je vois en audit : on obtient un chiffre propre sur un test qui ne pouvait rien démontrer.

Calcul 1 : trouver l'étape du funnel qui fuit

Avant de tester quoi que ce soit, je cherche où la boutique perd ses visiteurs. Le funnel e-commerce se lit en quatre passages : de la session à la fiche produit, de la fiche à l'ajout au panier, du panier au paiement, du paiement à la commande.

L'étape qui fuit le plus est celle où un test a le plus de chances de rapporter. Je vois souvent des équipes tester leur page d'accueil alors que la fuite principale se situe entre le panier et le paiement. Le test peut être bien mené, il ne traite pas le vrai problème.

Outil gratuit Diagnostic du funnel Ouvrir l’outil →

Le diagnostic du funnel e-commerce compare vos taux de passage à des repères indicatifs et vous indique l'étape à traiter en premier. Vérifiez d'abord que GA4 et Shopify remontent des chiffres cohérents : un funnel lu sur une donnée fausse envoie le test au mauvais endroit.

Calcul 2 : chiffrer l'impact sur le chiffre d'affaires

Un test coûte du design, du développement et du trafic. Avant de le lancer, je chiffre ce que rapporterait une hausse réaliste du taux de conversion. Le calcul tient en une ligne : sessions × taux de conversion × panier moyen, puis on applique la hausse visée.

Prenons une boutique à 50 000 sessions par mois, 2 % de conversion et 65 € de panier moyen. Elle fait 1 000 commandes, soit 65 000 € par mois. Une hausse relative de 10 % porte le taux à 2,2 % : 100 commandes de plus, 6 500 € par mois, 78 000 € par an.

Attention au mot relatif. Une hausse de 10 % fait passer 2 % à 2,2 %, pas à 12 %. La confusion est fréquente et fausse toutes les attentes.

Outil gratuit Impact sur le CA Ouvrir l’outil →

Ce chiffre sert à arbitrer. Si l'enjeu annuel ne justifie pas le temps passé, je passe à la piste suivante de la roadmap. Le calculateur d'impact du taux de conversion fait le calcul avec vos propres chiffres.

Calcul 3 : écrire l'hypothèse et choisir le KPI

Je ne lance aucun test sans hypothèse écrite. Elle relie une observation à un changement et à un indicateur. Sans elle, un test gagnant ne vous apprend rien sur vos clients, et un test perdant encore moins.

Le modèle que j'utilise :

Parce que nous avons observé que [observation] ([source]), nous pensons que [changement] sur [page] augmentera [KPI principal].

Exemple : parce que nous avons observé que les visiteurs mobiles s'arrêtent avant la section avis (enregistrements Microsoft Clarity), nous pensons qu'afficher la note et un extrait d'avis sous le prix sur la fiche produit augmentera le taux d'ajout au panier.

Chaque hypothèse s'accompagne de trois niveaux d'indicateurs :

• KPI principal : un seul, le plus proche du changement. Ici, le taux d'ajout au panier.
• KPI secondaires : ce qui aide à comprendre le résultat, comme le taux de conversion ou le clic sur les avis.
• Garde-fous : ce qui ne doit pas se dégrader, par exemple le panier moyen.

La source compte autant que l'observation. Chez mes clients, elle vient de GA4, de Clarity ou Hotjar, d'un sondage Zigpoll, des avis ou des demandes au SAV.

Outil gratuit Hypothèse et KPI Ouvrir l’outil →

Le générateur d'hypothèse A/B test remplit ce modèle et propose les trois niveaux de KPI.

Calcul 4 : calculer la durée du test et le MDE

La durée d'un test dépend de quatre chiffres : votre trafic quotidien, votre taux de conversion, le MDE et le niveau d'exigence statistique. Le MDE (minimum detectable effect) est la plus petite hausse que le test saura distinguer du hasard. Plus il est petit, plus il faut de visiteurs.

Exemple : 2 000 visiteurs par jour, 3 % de conversion, MDE de +10 % relatif (on veut détecter un passage de 3 % à 3,3 %), confiance de 95 % et puissance de 80 %. Il faut 53 210 visiteurs par variante, soit 106 420 au total. À 2 000 visiteurs par jour, le test dure 54 jours.

Le MDE pèse lourd sur le résultat. Avec les mêmes 2 000 visiteurs par jour et deux versions :

Mes règles : je vise 2 à 4 semaines, et au moins 2 cycles d'achat complets, pour couvrir l'écart entre semaine et week-end et les visiteurs qui reviennent avant d'acheter. Au-delà de 8 semaines, je ne teste pas. Trop de choses bougent pendant ce temps : campagnes, saisonnalité, cookies effacés. Je déploie alors l'optimisation directement et je suis son effet sur 3 mois.

Dans l'exemple, 54 jours restent sous les 8 semaines mais loin de l'idéal. Deux options : un changement plus marqué qui justifie un MDE de +15 % (25 jours), ou une page qui concentre plus de trafic.

Outil gratuit Durée de test (MDE) Ouvrir l’outil →

Le calculateur de durée de test A/B vous donne la taille d'échantillon et le nombre de jours pour votre boutique.

Calcul 5 : vérifier le SRM pendant le test

Le SRM (sample ratio mismatch) signale que le trafic n'a pas été réparti comme prévu entre A et B. Sur un test 50/50, un petit écart est normal. Un écart trop grand pour venir du hasard indique un problème technique, et les résultats ne sont plus fiables.

Le calcul est un test du khi-deux sur le nombre de visiteurs. Exemple : 10 120 visiteurs sur A et 9 640 sur B, pour 9 880 attendus de chaque côté. Le khi-deux vaut 11,66, soit p = 0,0006. L'écart de 480 visiteurs n'est pas dû au hasard.

Ma règle : si p < 0,01, le test est invalide, quel que soit le gagnant affiché. Les outils n'appliquent pas tous le même seuil, Kameleoon par exemple utilise 0,001 dans sa documentation. Je préfère 0,01 : l'alerte se déclenche plus tôt, et je préfère relancer un test de temps en temps que déployer une variante sur des données faussées.

Les causes que je rencontre le plus : un script de test qui se charge mal sur une variante, une redirection, une application Shopify qui interfère, une variante qui plante sur certains navigateurs.

Outil gratuit Vérificateur SRM Ouvrir l’outil →

Je contrôle le SRM dès les premiers jours avec le vérificateur SRM, puis à chaque point d'étape.

Calcul 6 : mesurer la probabilité que B batte A

À la fin du test, la question est simple : B fait-il mieux que A, et avec quelle certitude ? J'y réponds avec une probabilité bayésienne, plus facile à lire qu'une p-value, et je l'applique avec des seuils fixés avant le lancement.

Fréquentiste ou bayésien : la différence en clair

L'approche fréquentiste donne une p-value : la probabilité d'observer un écart au moins aussi grand si A et B étaient identiques. Elle ne donne pas la probabilité que B soit meilleur. C'est l'erreur de lecture la plus courante.

L'approche bayésienne répond directement à la question que pose une équipe : vu les données, quelle est la probabilité que B batte A ? Le chiffre se lit sans traduction, ce qui facilite la décision.

Exemple : A reçoit 12 000 visiteurs pour 360 conversions (3,00 %), B reçoit 12 000 visiteurs pour 410 conversions (3,42 %), soit +13,9 %. Le calcul bayésien donne environ 96,6 % de probabilité que B batte A. Un test fréquentiste bilatéral à 95 % donne p = 0,067 : non significatif.

Les deux ne se contredisent pas, ils ne posent pas la même question. Le test bilatéral demande si A et B diffèrent, dans un sens ou dans l'autre, et il est plus exigeant. Le calcul bayésien demande si B fait mieux que A. C'est pour ça que je ne m'appuie sur la probabilité bayésienne qu'avec une durée et une taille d'échantillon fixées à l'avance.

Outil gratuit Calculateur bayésien Ouvrir l’outil →

Mes règles de décision

• Au-delà de 95 % : je déploie B.
• Entre 80 et 95 % : je laisse tourner, dans la limite de la durée prévue.
• En dessous de 80 % : rien ne montre que B fait mieux. A reste en place et je note ce que le test a appris.

Ces règles ne s'appliquent que si le SRM est correct et la durée minimale atteinte. Une fois B déployé, je repasse par le calcul 2 avec une hausse plus prudente que celle mesurée, pour chiffrer le gain attendu. Le calculateur de significativité A/B test donne la probabilité pour vos données.

Les erreurs que je vois le plus en audit

Les tests ratés que je retrouve en audit ne viennent presque jamais de l'outil. Ils viennent de quatre décisions prises avant ou pendant le test.

Arrêter le test trop tôt

Une variante peut afficher 97 % au bout de quatre jours puis retomber nettement la semaine suivante. Les premiers jours mélangent souvent un public particulier, par exemple des abonnés qui reviennent après une campagne email. J'attends la durée calculée avant de conclure, même quand le chiffre est flatteur.

Regarder les résultats tous les jours

Consulter le résultat chaque jour et s'arrêter dès que le seuil est franchi augmente fortement le risque de faux positif. Je fixe les points d'étape à l'avance pour vérifier le SRM et le bon affichage des variantes. La décision se prend à la fin, pas au premier pic.

Lancer trop de variantes

Chaque variante divise le trafic. Reprenons l'exemple du calcul 4 avec trois versions au lieu de deux : 159 630 visiteurs au total, soit 80 jours. On dépasse les 8 semaines, le test ne se fait plus. Sauf trafic très élevé, je teste une seule variante contre l'original.

Choisir un KPI trop loin du changement

Modifier la galerie photo d'une fiche produit et juger le test sur le taux de conversion global, c'est mesurer un effet dilué par tout le reste du parcours : panier, livraison, paiement. Le KPI principal doit être le plus proche du changement, ici l'ajout au panier. La conversion reste suivie, comme indicateur secondaire.

Quand le trafic ne permet pas de tester, la méthode change sans s'arrêter : optimisations en one shot, suivi sur 3 mois, et pilotage dans un accompagnement CRO mesuré en sprint de 90 jours.

Questions fréquentes