Calculateur Significativité A/B Test
Testez la significativité statistique de vos A/B tests en quelques secondes. Z-test sur proportions, p-value, intervalles de confiance et durée estimée pour prendre des décisions fiables, pas des intuitions.
Calculateur Significativité A/B Test
Entrez les résultats de vos deux variantes pour calculer la significativité statistique.
Résultats de l'analyse
Intervalles de confiance
Interprétation
—
Pourquoi calculer la significativité de vos A/B tests ?
Un A/B test sans significativité statistique, c'est une décision prise au hasard. Ce calculateur applique un z-test sur les proportions de conversion pour déterminer si la différence observée entre vos variantes est réelle ou due au hasard. Entrez vos données et obtenez la p-value, les intervalles de confiance et la durée estimée pour un test fiable.
Questions fréquentes
Qu'est-ce que la significativité statistique en A/B testing ?
La significativité statistique mesure la probabilité que la différence de performance entre deux variantes ne soit pas due au hasard. On considère généralement un résultat significatif quand la p-value est inférieure à 0.05, soit 95% de confiance.
Combien de visiteurs faut-il pour un A/B test fiable ?
Le nombre de visiteurs dépend de votre taux de conversion de base et de la taille de l'effet que vous souhaitez détecter. En règle générale, plus votre taux de conversion est faible et plus l'effet attendu est petit, plus il vous faudra de trafic. Ce calculateur estime la durée nécessaire en fonction de vos paramètres.
Peut-on arrêter un A/B test dès qu'il devient significatif ?
Non. Arrêter un test prématurément augmente le risque de faux positifs. Il est recommandé de définir la taille d'échantillon nécessaire avant de lancer le test et de le laisser tourner jusqu'à atteindre ce seuil, même si les résultats semblent significatifs avant.
Quelle est la différence entre signification statistique et signification pratique ?
Un résultat peut être statistiquement significatif sans être économiquement pertinent. Par exemple, une amélioration de 0.01% du taux de conversion peut être significative avec assez de trafic, mais son impact business est négligeable. Évaluez toujours le lift en valeur absolue.