Cette discipline statistique est le socle technique du CRO avancé et de l’analyse comportementale : sans elle, la conclusion tirée reste fragile.
La vérité inconfortable : la plupart des tests ne prouvent rien
Beaucoup d’expériences A/B menées dans le monde réel sont statistiquement fragiles, et leurs « gagnants » ne tiennent pas en production. Pas parce que les gens manquent forcément de méthode, mais parce que l’intuition humaine est mauvaise avec le hasard, y compris sur des campagnes gérées par des gens expérimentés.
On lance une comparaison sur une page ou une campagne, on voit la variante B à +18 % au bout de trois jours, on déploie, satisfait, et trois mois plus tard l’indicateur final n’a pas bougé. Que s’est-il passé ?
Le +18 % n’était peut-être pas un signal. C’était peut-être du bruit : la fluctuation aléatoire normale de petits nombres, qui s’efface dès qu’on accumule assez de données. +20 % au bout de trois jours n’est pas encore une victoire : c’est un écart qui n’a pas eu le temps d’être confirmé.
Toute la rigueur statistique du CRO existe pour une seule raison : distinguer le vrai signal du coup de chance. La significativité n’est pas du pédantisme de statisticien, c’est ce qui sépare savoir d’espérer. Elle n’est qu’une pièce d’une démarche CRO sérieuse fondée sur le comportement réel, mais elle en est le garde-fou, la méthode avant l’analyse, jamais l’inverse.
P-value, erreur de type I et erreur de type II : ce que vous risquez vraiment
La p-value est au centre, mais elle n’a de sens qu’une fois qu’on a compris les deux types d’erreurs qu’elle aide à contrôler, et ce que chacune vous coûte concrètement.
Qu’est-ce que la p-value et comment la lire sans se tromper ?
La p-value est souvent mal expliquée. Voici ce qu’elle dit, exactement : si les deux variantes étaient en réalité identiques (aucune vraie différence), quelle serait la probabilité d’observer un écart au moins aussi grand que celui que je vois, par pur hasard ? Une p-value faible (par convention, sous 5 %) signifie : « cet écart serait très improbable si les variantes étaient identiques ». Une p-value élevée signifie : « cet écart pourrait facilement n’être que du hasard, je ne peux rien conclure ».
Une p-value n’est fiable que sur un volume suffisant : calculée sur trois jours et deux cents visiteurs, elle danse dans tous les sens. D’où la nécessité, avant même de parler de p-value, de fixer le nombre d’observations et le nombre de visites qui l’alimente.
Erreur de type I et erreur de type II : les deux curseurs du risque
Derrière la p-value se cachent deux types d’erreurs distincts, avec des conséquences business opposées. Les nommer aide à les piloter.
Le faux positif (erreur I) : vous rejetez l’hypothèse nulle alors qu’elle est vraie. Vous déclarez un gagnant qui n’en est pas un. Le seuil α = 5 % fixe précisément ce risque : vous acceptez de vous tromper ainsi dans 5 % des tests. En CRO, la conséquence : vous déployez du bruit, vous consommez de la bande passante de développement, et votre indicateur ne bouge pas.
L’erreur de type II (faux négatif) : vous ne rejetez pas l’hypothèse nulle alors qu’il y avait une vraie différence. Vous manquez un gain réel. Le paramètre β contrôle ce risque ; la puissance (1 − β), cible habituelle 80 %, fixe votre capacité à détecter ce gain s’il existe. En CRO, la conséquence : vous abandonnez une amélioration qui aurait fait progresser votre compte, qu’il s’agisse d’un essai publicitaire ou d’une refonte d’étape sur votre site web.
| H₀ vraie (pas de vraie différence) | H₀ fausse (une vraie différence existe) | |
|---|---|---|
| Vous rejetez H₀ (déclarez un gagnant) | Faux positif (risque α), vous déployez du bruit | Décision correcte |
| Vous ne rejetez pas H₀ (pas de gagnant) | Décision correcte | Faux négatif (risque β), vous ratez un gain réel |
α et (1 − β) sont des curseurs, pas des vérités gravées. Descendre α à 1 % réduit les faux positifs mais exige bien plus d’observations. Passer la cible de détection à 90 % améliore la détection mais allonge le protocole. Choisir, c’est arbitrer selon ce qui coûte le plus à votre campagne : déployer du bruit ou manquer un gain qui aurait eu un vrai impact sur vos objectifs.
Fixer le MDE et calculer la taille d’échantillon avant de lancer
La discipline numéro un est de calculer avant, pas de regarder après. Elle repose sur deux notions distinctes : le MDE (ce que vous voulez pouvoir détecter) et la méthode qui traduit tout ça en nombre de conversions.
Qu’est-ce que le MDE et comment le fixer ?
Le MDE (Minimum Detectable Effect) est le plus petit écart sur l’objectif que vous jugez utile de détecter. Il s’exprime en variation relative : +10 % sur une base de 3 % représente 0,3 point de pourcentage.
La règle de base : plus le MDE est petit, plus le volume requis explose. Un gain de +5 % à détecter demande environ quatre fois plus de conversions qu’un gain de +10 % sur la même base. En pratique, vouloir détecter un écart microscopique sans une audience massive est une impasse.
Décision business prime sur le calcul statistique : si un gain de +2 % ne change rien à la rentabilité de votre campagne, inutile de dimensionner pour le détecter. Fixez le MDE au seuil à partir duquel ce gain justifie le déploiement, page par page ou campagne par campagne selon ce que vous testez, sans céder à la pression de tester toutes vos pages en même temps. Sur peu de visites, c’est directement lié au choix des variables à tester, choisir les variables à tester en priorité avec peu de volume, c’est viser des MDE larges, sur l’élément qui a le plus de chances de produire un impact visible à chaque étape du parcours client.
Les calculateurs de taille d’échantillon : lesquels utiliser et comment les alimenter
Aucun calcul mental ne remplace un outil dédié, quel que soit le testing envisagé. Les outils gratuits de référence : Evan Miller’s Sample Size Calculator (evanmiller.org), le calculateur Optimizely, ceux d’AB Tasty, Kameleoon et VWO embarquent directement la même logique, que vous testiez une landing page, un formulaire ou un élément d’annonce.
Tous demandent quatre inputs :
- Taux de conversion de base, la valeur actuelle sur la page ou l’étape testée. Prenez-la sur 30 à 90 jours dans votre logiciel analytics, pas sur la dernière semaine.
- MDE, l’effet minimal que vous jugez utile de détecter, en variation relative (ex. +10 %).
- Niveau de significativité α, 5 % par défaut (risque de faux positif accepté).
- Puissance (1 − β), 80 % par défaut. Monter à 90 % améliore la détection mais allonge significativement la collecte.
Changer un seul de ces paramètres modifie radicalement la valeur obtenue. Passer le MDE de 20 % à 10 % peut multiplier le nombre requis par quatre. Passer α de 5 % à 1 % peut l’augmenter de 50 à 70 %.
Point souvent oublié : l’outil donne un nombre de conversions par variante, pas de visiteurs. Pour convertir en jours, divisez ce nombre par le volume de conversions quotidien moyen de la page. C’est ce chiffre qui devient votre horizon d’observation, à contrôler pour couvrir au moins un cycle hebdomadaire complet, tous canaux confondus (recherche comme réseau display si vous testez au-delà du web classique).
Comment Google Ads calcule-t-il lui-même la significativité dans l’onglet Expériences ?
Google Ads n’utilise pas un outil CRO externe pour ses expériences : la plateforme applique sa propre méthode statistique interne aux données de campagne. Comprendre ce mécanisme évite de confondre le « significatif » natif de la plateforme avec celui d’un outil CRO générique.
Quand vous lancez une comparaison de campagne dans l’interface (répartition de l’audience entre une campagne d’origine et sa variante), Google affiche directement l’écart en pourcentage et sa marge entre crochets, par exemple « +10 % [+8 %, +12 %] », plutôt qu’une simple étiquette « gagnant/perdant ». C’est un intervalle de confiance, exactement la même logique que celle décrite plus haut, mais calculée en interne par la plateforme publicitaire elle-même, sur ses propres données de campagne.
Un écart marqué comme statistiquement pertinent dans l’interface ne veut pas dire que l’autre est perdant : l’absence de ce marquage peut simplement signifier que la comparaison n’a pas encore assez duré ou que la campagne ne reçoit pas assez de données pour trancher. Là encore, la lecture rejoint celle d’une méthode externe : pas de signal net, pas de conclusion, pas d’arrêt anticipé sous prétexte que « ça semble bon ».
Ce mécanisme change la lecture, pas les trois disciplines : le nombre d’observations, la durée et l’interdiction de peeker s’appliquent identiquement, que le calcul soit effectué en externe ou dans l’onglet natif de Google Ads.
Répartition par recherche ou par utilisateur : pourquoi ça change la fiabilité des données
Deux méthodes de répartition des impressions existent, et elles ne racontent pas la même histoire statistique. Une répartition basée sur les recherches assigne aléatoirement chaque nouvelle recherche à l’un des deux groupes : un même internaute peut voir la version originale un jour et la variante le lendemain. Une répartition basée sur les cookies fixe chaque utilisateur dans un seul groupe pendant tout le protocole, ce qui évite qu’une même personne contamine les données des deux côtés à la fois.
Pour une comparaison qui touche l’après-clic, une page de destination, un formulaire, un élément de parcours d’achat, la répartition par utilisateur est généralement la plus propre : sans elle, vous risquez de mesurer un mélange incohérent plutôt qu’une comparaison nette entre deux versions. Pour une expérimentation purement publicitaire (titres, enchères), la répartition par recherche suffit généralement, l’audience ciblée restant la même population globale d’une observation à l’autre.
Les trois disciplines qui rendent un test valide
Calculer le nombre requis n’est que le premier verrou. Il en reste deux.
Fixer la durée et couvrir un cycle complet
Même si le seuil numérique est atteint rapidement, il faut laisser tourner l’expérience sur au moins un cycle hebdomadaire complet, parce que le comportement du lundi n’est pas celui du samedi, et une comparaison limitée aux jours ouvrés mesure une population biaisée, sur du search comme sur du display, l’audience change de visage selon le jour.
Et le calendrier ne s’arrête pas à la semaine : soldes, promo concurrente, pic saisonnier, ces biais d’historique et de saisonnalité faussent même un protocole parfaitement dimensionné, il faut les anticiper avant de lancer. Ces décisions de calendrier se prennent en amont, en équipe marketing, pas au fil de l’eau une fois le protocole lancé.
Ne pas peeker, et quand le test séquentiel change la donne
Le troisième verrou est le plus pernicieux : le peeking. Vous regardez vos chiffres chaque jour, et le jour où ils affichent « significatif », vous arrêtez et déclarez victoire. Problème : à force de regarder, vous augmentez fortement la probabilité de tomber sur un pic de bruit qui franchit le seuil, et de l’attraper précisément ce jour-là. Le peeking transforme votre risque de 5 % de faux positif en un risque bien plus élevé, parce que vous multipliez les occasions de vous tromper.
La règle classique : on décide le volume et l’horizon à l’avance, et on ne conclut qu’à la fin. Regarder en cours de route pour surveiller est permis ; arrêter en cours de route parce que « c’est bon » casse le protocole.
Si vous devez absolument suivre en temps réel et garder la possibilité de conclure dès que le signal est clair, il existe une réponse méthodologique au peeking : le test séquentiel (sequential testing / SPRT). Il utilise des bornes d’arrêt pré-calculées, une borne d’efficacité et une borne de futilité, qui préservent le risque de faux positif prévu même avec des regards continus. Conséquence : on peut parfois conclure plus vite qu’une méthode classique quand l’écart dépasse nettement le MDE. Contrepartie : le plafond d’observations est légèrement supérieur à celui de la méthode classique. Les plateformes Optimizely, VWO et Kameleoon proposent cette approche nativement.
Faut-il un outil de testing dédié ou l’onglet Expériences de Google Ads suffit-il ?
Ça dépend de ce que vous testez. Pour une expérimentation purement publicitaire, deux versions d’une même annonce, deux stratégies d’enchères, deux structures de campagne, l’onglet natif de Google Ads suffit souvent : il applique un cadre statistique interne sans coût supplémentaire ni intégration technique.
Pour une analyse qui dépasse le clic, une landing page, un tunnel complet, un parcours qui mélange plusieurs canaux, un outil dédié (AB Tasty, VWO, Kameleoon, Optimizely) prend le relais, parce que c’est là que se joue la vraie optimisation des performances : ce n’est plus la publicité qui est en jeu, mais le parcours web du client une fois qu’il a cliqué. Ces outils permettent aussi le ciblage par segment d’audience, ce que l’onglet Expériences de Google Ads ne fait pas nativement.
Le bon réflexe reste le même dans les deux cas : ne changez qu’une variable à la fois entre vos deux versions. Tester simultanément un nouveau titre d’annonce et une nouvelle page de destination revient à mesurer un impact composite dont vous ne saurez jamais isoler la cause. Ce choix d’outillage se prend une fois, en amont ; ensuite, chaque nouvelle comparaison s’inscrit dans le même cadre méthodologique, sans qu’il faille rouvrir le débat à chaque campagne.
Significatif ne veut pas dire rentable
Passer le seuil de 5 % est nécessaire. Mais ce seuil ne règle pas tout.
Lire l’intervalle de confiance, pas le verdict binaire
« Significatif / pas significatif » est une lecture binaire appauvrie. Plus honnête est l’intervalle de confiance : la fourchette dans laquelle se situe probablement la vraie différence.
Une expérience peut être « significative » tout en ayant un intervalle qui va de +1 % à +25 %. Vous savez que B est probablement meilleur, mais vous ignorez de combien, et planifier sur « +18 % » serait imprudent. Lire l’intervalle, c’est accepter de raisonner en incertitude plutôt qu’en certitude binaire.
Le double filtre : validité statistique puis pertinence business
Une expérience peut atteindre p < 0,05 sur un gain de +0,3 % de taux de conversion. Statistiquement significatif, business inutile. Le déploiement consomme du temps de développement et de la capacité serveur pour un impact qui ne changera rien à votre rentabilité.
Le bon réflexe est un double filtre : premièrement, l’écart est-il significatif (p < α) ? Deuxièmement, le gain estimé, avec sa fourchette, justifie-t-il le déploiement ? Lire l’intervalle ici aide à vérifier si même la borne basse est rentable. Si la borne basse de l’IC est à +0,1 % de conversion, le déploiement ne se justifie pas, même avec un voyant vert, quel que soit l’objectif business qui a motivé la comparaison au départ.
La limite structurelle reste là : tout ceci suppose du volume. Sur peu de visites, mieux vaut tester des changements à gros impact (qu’un petit volume suffit à révéler) que des micro-optimisations indétectables. Une analyse non concluante n’est pas un échec : c’est une conclusion honnête (ce gain, s’il existe, est trop petit pour être visible avec ce volume), qui vous évite de déployer une fausse victoire.
Sur quelles campagnes tester en priorité quand le trafic est limité ?
Concentrez vos tests sur les campagnes et groupes d’annonces à fort volume : c’est là que le seuil requis peut s’atteindre en semaines plutôt qu’en mois. Une campagne qui génère dix conversions par semaine mettra un temps déraisonnable à atteindre les quelques centaines de conversions par variante nécessaires pour détecter un gain moyen ; une campagne qui en génère cent y arrivera en quelques cycles.
Deux implications pratiques pour prioriser vos objectifs d’expérimentation :
- Ne testez pas tout partout. Une campagne confidentielle en tête de compte n’a probablement pas le trafic pour supporter un protocole rigoureux sur une petite variation. Réservez ces campagnes à des changements à fort impact attendu (refonte de landing page complète, repositionnement de l’offre), pas à des micro-ajustements de titre.
- Agrégez si la logique du compte le permet. Regrouper plusieurs campagnes ou groupes d’annonces qui ciblent une audience comparable peut suffire à atteindre le volume nécessaire, tant que la variable testée reste identique d’une campagne à l’autre.
Cette priorisation ne remplace aucune des trois disciplines : elle décide simplement où les appliquer en premier, pour ne pas immobiliser votre budget d’expérimentation sur une campagne qui ne le nourrira jamais assez vite. Une comparaison A/B n’est jamais qu’une étape de l’analyse de vos performances, l’essentiel du travail d’optimisation reste ce qui se passe entre le clic et l’action finale, sur le site du client.
Comment présenter un résultat de test à une direction ou un client qui veut une réponse simple ?
Donnez trois chiffres, dans cet ordre : l’écart mesuré, la fourchette d’incertitude autour de cet écart, et la traduction business de la borne basse. Une direction marketing qui découvre les statistiques en même temps que la mesure n’a pas les outils pour juger si ce seuil de 95 % est une bonne ou une mauvaise nouvelle, c’est à vous de faire cette traduction, pas à elle de la deviner.
Trois réflexes évitent les malentendus qui compromettent la place de la méthode dans les décisions suivantes :
- Ne dites pas « ça marche » sans préciser sur quel volume. Un utilisateur non technique retient l’affirmation, pas la nuance statistique qui la conditionne. Dire « B fait mieux que A avec un intervalle à 95 %, sur les données actuelles » protège contre l’illusion de certitude absolue.
- Montrez la fourchette avec le pourcentage central. Une direction qui voit « entre +2 % et +30 % » comprend immédiatement l’incertitude ; une direction qui voit seulement « +16 % » risque de bâtir un objectif de campagne sur un chiffre optimiste.
- Documentez les tests non concluants au même titre que les gagnants. Un historique de pages et de tests qui ne montre que des succès finit par ressembler à du marketing plutôt qu’à de l’analyse, et sape la crédibilité du prochain verdict annoncé.
Cette discipline de communication ne change rien à la méthode statistique elle-même : elle évite simplement qu’une analyse rigoureuse soit mal interprétée une fois sortie du tableau de bord, et qu’une direction en tire une conclusion sur le comportement des visiteurs que les chiffres ne soutiennent pas vraiment.
- Calculez le nombre nécessaire AVANT de lancer : taux de base, MDE (effet minimal détectable), α (5 % par défaut), capacité cible (80 % par défaut).
- Fixez la durée AVANT, couvrez au moins un cycle hebdomadaire complet.
- Le peeking gonfle les faux positifs : décidez à l’avance, concluez à la fin. Si vous devez surveiller en continu, utilisez le test séquentiel (SPRT).
- Erreur I (α) = faux positif, vous déployez du bruit. Erreur II (β) = faux négatif, vous ratez un gain réel. Les deux se pilotent avant le lancement.
- Lisez la fourchette avec le « 95 % ». Appliquez un second filtre business : même la borne basse de l’IC justifie-t-elle le déploiement ?
- Une analyse non concluante est une réponse valide : elle vous évite de déployer du bruit.
Décision
Avant de lancer : calculez le nombre requis et fixez la durée (au moins un cycle complet), une fois que vous avez tranché entre split URL et A/B classique pour monter la comparaison, sur une campagne qui a assez de données pour la nourrir.
Pendant : surveillez si vous voulez, mais n’arrêtez pas avant d’avoir atteint les deux seuils prévus, ou adoptez le test séquentiel si vous avez besoin de flexibilité d’arrêt sans sacrifier la rigueur. À la fin : lisez l’intervalle de confiance avec le « 95 % », que ce chiffre vienne d’un calculateur externe ou de l’onglet Expériences de Google Ads, et appliquez le filtre business. Et acceptez qu’une analyse non concluante est une réponse valide, pas un échec de décision.
La question à vous poser devant tout écart enthousiasmant : ai-je atteint le volume prévu et couvert le cycle, ou suis-je en train de regarder du bruit ? La significativité, c’est la différence entre savoir et espérer. En CRO, espérer coûte cher.
