Outil gratuit

Vérificateur SRM (sample ratio mismatch)

Entrez le nombre de visiteurs de chaque version. L'outil vous dit si l'écart de répartition peut venir du hasard.

Vos chiffres

Répartition de votre test

–

    Écart avec le prévu
    –
    Khi-deux
    –
    p-value
    –

    Verdict : –

    Vérifier mon setup avec un expert

    Votre vérification est prête.

    Laissez votre email pour le voir. En bonus, un A/B test décortiqué par mois : hypothèse, chiffres, verdict. Rien d'autre.

    Gratuit. Désinscription en 1 clic.

    Ce calcul vérifie que le trafic de votre test a été réparti comme prévu. Un sample ratio mismatch (SRM) apparaît quand l'écart entre A et B est trop grand pour venir du hasard. Il signale un problème technique : tant qu'il n'est pas corrigé, le résultat du test n'est pas fiable, même s'il affiche un gagnant.

    À quoi sert ce calcul

    Il sert à savoir si vous pouvez faire confiance au résultat. Un SRM veut dire que certains visiteurs ont été perdus ou mal comptés d'un côté. Ce ne sont pas des visiteurs au hasard, donc la comparaison entre A et B est faussée.

    Le problème n'est pas rare. Selon Lukas Vermeer, cité par Convert, même les grandes entreprises tech observent un SRM sur 6 à 10 % de leurs expériences.

    Comment remplir l'outil

    • Visiteurs de la version A : l'original.
    • Visiteurs de la version B : la variante.
    • Répartition prévue : 50/50 dans la plupart des tests.

    Prenez les visiteurs uniques comptés par l'outil de test, pas les sessions GA4. Faites le contrôle dès les premiers jours, puis à chaque point d'étape.

    Comment lire le résultat

    L'outil affiche la répartition observée, le khi-deux et la p-value. Ma règle : si p < 0,01, le test est invalide, quel que soit le gagnant affiché.

    Les outils n'appliquent pas tous le même seuil. Kameleoon, par exemple, utilise 0,001 dans sa documentation. Je préfère 0,01 : l'alerte se déclenche plus tôt, et je préfère relancer un test de temps en temps que déployer une variante sur des données faussées.

    En cas de SRM, cherchez la cause avant de relancer. Celles que je rencontre le plus : un script de test qui se charge mal sur une variante, une redirection, une application Shopify qui interfère, une variante qui plante sur certains navigateurs.

    La formule expliquée simplement

    Le khi-deux mesure l'écart entre ce que vous observez et ce que vous attendiez :

    Khi-deux = somme de (observé - attendu)² ÷ attendu, pour chaque version.

    Avec deux versions, le résultat se lit sur une loi du khi-deux à 1 degré de liberté, qui donne la p-value. Plus la p-value est basse, moins le hasard explique l'écart.

    Exemple

    Un test 50/50 compte 10 120 visiteurs sur A et 9 640 sur B, soit 19 760 au total. On attendait 9 880 de chaque côté.

    Pour chaque version, l'écart est de 240 visiteurs. 240² ÷ 9 880 = 5,83, deux fois : khi-deux = 11,66, p = 0,0006. C'est sous 0,01 : le test a un SRM. La répartition de 51,2 % contre 48,8 % paraît anodine, elle ne l'est pas.

    Questions fréquentes

    Qu'est-ce qu'un sample ratio mismatch ?

    C'est un écart anormal entre la répartition de trafic prévue dans un A/B test et celle observée. Sur un test 50/50, un léger écart est normal. Quand le test du khi-deux donne une p-value inférieure à 0,01, l'écart ne vient pas du hasard et le résultat n'est pas fiable.

    Comment détecter un SRM dans un test A/B ?

    Comparez le nombre de visiteurs de chaque version à celui attendu avec un test du khi-deux. Entrez les deux volumes et la répartition prévue dans le vérificateur. Si la p-value passe sous 0,01, arrêtez l'analyse et cherchez la cause technique.

    Peut-on corriger un SRM sans relancer le test ?

    En général, non. Les visiteurs manquants ne sont pas perdus au hasard, donc repondérer les chiffres ne rétablit pas une comparaison juste. Il faut trouver la cause, la corriger, puis relancer le test et refaire le contrôle dès les premiers jours.

    Le vérificateur SRM marche-t-il avec une répartition autre que 50/50 ?

    Oui. Le contrôle compare la répartition observée à celle que vous avez réglée, quelle qu'elle soit. Sur un test 90/10, l'attendu de chaque version se calcule sur ces proportions. Je saisis toujours la répartition réglée dans l'outil de test, pas 50/50 par défaut, sinon le vérificateur signale un SRM qui n'existe pas.

    Un test sans SRM peut ensuite être lu avec le calculateur de significativité A/B test. Les six calculs sont détaillés dans le guide calculateur A/B test.

    Outils CRO gratuits

    Les autres outils.

    Votre email débloque déjà tous les outils de la boîte.

    Voir tous les outils CRO →