La statistique ne rattrape pas un test mal préparé. Elle donne un cadre à l’optimisation avancée des conversions, qui part du comportement réel des visiteurs.
Le principe est le même pour une page et pour une campagne : le trafic est réparti au hasard entre deux versions. On compare les appels, les formulaires ou les achats selon le critère et la règle de décision fixés avant le test. Google Ads propose ses propres tests de campagne.
Avant de lancer : écrivez le plan du test
Une version affiche +18 % après trois jours. Ce chiffre n’indique encore ni la taille réelle du gain, ni sa précision, ni si la mesure est fiable. Avec peu de données, l’écart peut se confirmer, diminuer, s’inverser ou rester indécis.
Avant le lancement, mettez par écrit :
- Ce que vous changez, et le résultat que vous en attendez.
- Le chiffre principal qui tranchera, par exemple le taux de conversion.
- Ce qui est réparti au hasard entre les versions : des visiteurs, des recherches ou des groupes de personnes.
- Le plus petit gain qui vaut la peine d’être repéré.
- Les deux risques d’erreur acceptés (faux gagnant, gain manqué), puis la taille d’échantillon : le nombre de visiteurs ou de recherches à observer dans chaque version.
- La durée, le délai entre le clic et la conversion, et la règle d’arrêt.
La taille, la durée et la règle d’arrêt ne suffisent pas seules. Sans répartition au hasard ni mesure fiable, une taille d’échantillon parfaite ne corrige rien.
Comprendre la p-value et les risques d’erreur
Ce que la p-value indique, et ce qu’elle n’indique pas
La p-value répond à une question précise. Supposons que la nouvelle version ne change rien et que les hypothèses du calcul tiennent. Quelle serait alors la probabilité d’observer un écart au moins aussi grand que celui mesuré ?
Une petite p-value signale donc que les données s’accordent mal avec « aucun effet ». Elle ne donne ni la probabilité que la version B soit meilleure, ni la cause de l’écart, ni la taille du gain.
À l’inverse, une p-value élevée ne prouve pas l’absence d’effet. Les données ne suffisent simplement pas pour conclure avec la méthode choisie. Avec peu de données, le problème vient souvent d’un manque de précision, même si certaines méthodes restent valables sur de petits volumes.
Deux erreurs possibles : faux gagnant et gain manqué
La première erreur est le faux positif : déclarer un gagnant alors que la nouvelle version ne change rien. Le seuil de risque, noté α dans les calculateurs, encadre cette erreur. S’il vaut 5 % et que le même test est répété sans effet réel, la méthode limite ces faux gagnants à 5 % des répétitions. Cela ne veut pas dire que 5 % de l’ensemble de vos tests sont faux.
La seconde erreur consiste à manquer un gain réel. La puissance est la probabilité de repérer un gain d’une taille choisie à l’avance, s’il existe vraiment. Elle vaut pour ce gain et ce plan précis, pas pour tout gain possible.
| La nouvelle version ne change rien | Le gain visé est réel | |
|---|---|---|
| Vous déclarez un gagnant | Faux positif (risque α) | Gain repéré ; sa taille reste à estimer |
| Vous ne déclarez pas de gagnant | L’absence d’effet n’est pas prouvée pour autant | Gain manqué : c’est le risque que la puissance réduit |
À conditions égales, un seuil plus strict ou une puissance plus haute demandent généralement plus de données. Multiplier les versions, les indicateurs ou les analyses utilisées pour décider augmente le risque de faux gagnant si la méthode n’en tient pas compte. Désignez donc un seul chiffre principal et prévoyez cette correction, sinon vous multipliez les occasions de conclure par hasard.
Fixer le gain visé et la taille d’échantillon
Le plus petit gain qui vaut le test
L’effet minimal détectable (MDE, pour Minimum Detectable Effect) est le plus petit gain que le test est conçu pour repérer. Il s’exprime en écart absolu ou relatif. Sur un taux de conversion de 3 %, passer à 3,3 % représente +0,3 point et +10 % en relatif. Notez toujours les deux dans le plan.
Plus le gain visé est petit, plus il faut de données. Pour de petits écarts, la taille d’échantillon varie à peu près comme l’inverse du carré de l’effet. Diviser le gain visé par deux peut donc multiplier la taille d’échantillon par près de quatre.
Ce gain doit aussi justifier le coût du développement, le risque du déploiement et la complexité ajoutée. Avec peu de trafic, visez un gain assez grand pour être repérable et assez important pour changer votre décision. C’est le moment de choisir les variables à tester en priorité, pas d’enchaîner dix micro-changements.
Remplir un calculateur de taille d’échantillon
Chaque calculateur applique sa propre méthode, si bien que deux outils peuvent répondre à deux questions différentes. Vérifiez ce qu’il compte et le type de test qu’il suppose. Pour un test à durée fixe, vous renseignez généralement ces éléments :
- Le chiffre de départ. Prenez une période stable, qui ressemble au trafic à venir, hors promotions. Pour une moyenne, comme un panier moyen, ajoutez sa variabilité si l’outil la demande.
- Le gain minimal visé. Saisissez-le dans l’unité attendue par l’outil, absolue ou relative.
- Le seuil de risque α. Choisissez-le selon le coût d’un faux gagnant et le nombre de versions comparées.
- La puissance. Elle vaut pour le gain renseigné, pas pour tout gain possible.
- Le nombre de versions et leur part du trafic. Une répartition inégale change la taille d’échantillon totale et le rythme de collecte.
- Le type de test. Un test dans un sens ou dans les deux, à durée fixe ou avec des analyses intermédiaires prévues, ne se calcule pas pareil.
Pour un taux de conversion, le calculateur donne le nombre d’observations par version : visiteurs ou recherches, selon votre test. Pour estimer la durée, divisez-le par le volume quotidien attendu. Le délai de conversion s’ajoute ensuite. Si le test traverse une promotion ou un changement de mesure, revoyez le calendrier au lieu de l’ajuster après coup.
Durée et arrêt : ne pas conclure trop tôt
Couvrir au moins un cycle complet
Une semaine complète est un minimum quand le trafic change entre le lundi et le dimanche. Une clientèle d’entreprises, une saison de réservation ou un long délai de vente peuvent imposer un autre horizon. Le test doit couvrir les cycles qui rendent les visiteurs observés représentatifs de ceux à venir.
Des soldes, un pic saisonnier ou un changement de mesure peuvent aussi modifier le trafic. Ces biais d’histoire et de saisonnalité se prévoient dans le plan, pas après coup pour justifier un résultat.
Pour certains de ses tests de campagne, Google recommande au moins quatre à six semaines et un à deux cycles de conversion, davantage si ce délai est long. Il écarte aussi des résultats les sept premiers jours, le temps que le test démarre. Ces repères valent pour ces tests Google, pas pour tous les A/B tests.
Regarder en cours de route sans fausser le test
Regarder les résultats en cours de route, ce qu’on appelle le peeking, pose problème dans un cas précis. Vous arrêtez un test prévu à durée fixe dès que le résultat vous plaît. Chaque regard suivi d’une décision ajoute alors une occasion de faux gagnant, et le risque réel dépasse celui annoncé.
Surveillez quand même la mesure, les coûts et toute dégradation évidente. Ces contrôles servent à arrêter en cas de problème, pas à proclamer un gagnant avant la date prévue.
Certaines méthodes, dites séquentielles, sont conçues pour regarder en cours de route. Elles autorisent un arrêt anticipé selon leurs propres règles, fixées avant le lancement. Les éditeurs d’outils de test n’utilisent pas tous la même méthode de calcul. Un résultat déclaré significatif peut donc correspondre à des règles différentes : consultez la méthode de l’outil avant de conclure.
Comment Google Ads juge ses propres tests
Google Ads regroupe les données en 20 classes pour la version d’origine et 20 pour la version testée. Il estime la précision de l’écart en pourcentage par une technique appelée jackknife. Il applique ensuite un test dans les deux sens, avec un intervalle de confiance à 95 %, c’est-à-dire la fourchette des gains compatibles avec les données.
Dans les rapports, vous pouvez choisir le niveau de la fourchette affichée, que Google fixe à 80 % par défaut. Un astérisque bleu signale un résultat que Google juge statistiquement significatif. Une fourchette affichée n’est donc pas forcément à 95 %.
Si l’astérisque n’apparaît pas, cela n’indique pas pourquoi. Plusieurs causes sont possibles :
- Le test n’a pas assez duré, ou une version a reçu trop peu de trafic.
- L’effet est trop faible par rapport à l’incertitude du calcul.
- Les chiffres varient trop pour que l’écart ressorte.
- Les conversions arrivent avec retard, ou elles sont mal mesurées.
- Le test a été mal mis en place.
Regardez la fourchette et les données brutes avant de prolonger. Suivez ensuite la procédure de Google pour ce type de test, pas les règles d’un calculateur de page. Des résultats affichés au fil du test ne donnent pas le droit d’arrêter au premier chiffre flatteur.
Répartir par recherche ou par internaute
Avec la répartition par recherche, chaque recherche part au hasard vers la campagne d’origine ou vers la campagne testée. Un même internaute peut donc tomber sur les deux versions. Avec la répartition par cookie, le navigateur est affecté à une version. Un changement d’appareil ou la perte du cookie peut toutefois rompre cette continuité.
Aucune des deux ne garantit le même nombre d’affichages par version. Si vos clients reviennent plusieurs fois avant d’acheter, privilégiez la répartition par cookie pour limiter le passage d’une version à l’autre. La répartition par recherche répond à une autre question, sans être moins rigoureuse en soi.
Tester dans Google Ads ou sur votre page ?
Un test Google Ads répartit du budget, des recherches ou des internautes entre deux versions de campagne. Un test de page répartit les visiteurs après le clic. Ce qui touche à la campagne se teste dans Google Ads, quand l’interface le propose. Pour la page de destination, un outil de test peut répartir les visiteurs entre les versions. Ne mélangez pas les deux résultats dans un même verdict.
Peu de trafic : où tester en priorité
Testez d’abord les campagnes qui apportent assez de visiteurs pour repérer le gain qui compte. Ce besoin se calcule, et un seuil tout fait en nombre de conversions n’a aucune valeur statistique.
- Écartez les micro-changements trop petits pour être mesurés dans un délai acceptable. Si aucun gain repérable n’est à votre portée, mieux vaut changer de méthode d’étude ou attendre d’avoir plus de trafic.
- Ne regroupez pas des campagnes juste pour gonfler les chiffres. Elles doivent recevoir le même changement et suivre le même chiffre, sans se chevaucher. Si leurs taux de départ diffèrent, analysez-les groupe par groupe plutôt qu’en une seule moyenne.
Une campagne à fort trafic ne suffit donc pas. Il faut aussi une répartition correcte, une mesure fiable et un public assez stable.
Un gagnant fiable n’est pas forcément rentable
Comprendre l’intervalle de confiance
Le niveau d’une fourchette décrit une méthode répétée. Si vous refaisiez le test un grand nombre de fois, la part annoncée de ces fourchettes contiendrait le vrai gain. Pour la fourchette déjà calculée, on ne peut pas dire que le vrai gain a 95 % de chances d’y être.
Si la fourchette exclut zéro, les données s’accordent mal avec l’absence d’écart. Cela ne donne pas pour autant la probabilité que la version B soit meilleure. Une fourchette très large peut exclure zéro tout en laissant la taille du gain trop floue pour décider.
Deux questions avant de déployer
Première question : le test a-t-il suivi le plan prévu ? Seconde question : le gain estimé justifie-t-il le coût, le risque technique et le temps de mise en place ? La p-value ne vérifie ni le respect du protocole ni la rentabilité du changement.
Avant le lancement, fixez un seuil de rentabilité dans l’unité du chiffre suivi, puis comparez-y le gain et sa fourchette. Un bas de fourchette à peine positif peut suffire pour un changement gratuit et facile à annuler. Pour une refonte coûteuse, il ne suffit pas.
Présenter le résultat à un dirigeant
Présentez le gain estimé, sa fourchette et la décision, jamais un voyant seul. Précisez ce qui a été réparti, la période et le délai de conversion. Les écarts au plan et les problèmes de mesure y ont aussi leur place.
Une ligne suffit : « Gain estimé : … ; fourchette à … % : […] ; période : … ; seuil : … ; décision : … ». Elle ne promet rien que les données ne soutiennent.
Quand un résultat est-il assez solide pour décider ?
Suivez ces étapes dans l’ordre, du choix du terrain jusqu’à la décision.
- Choisissez le terrain. Un changement de campagne se teste dans Google Ads. Pour une page, tranchez d’abord entre split URL et A/B classique.
- Fixez le plan. Un test à durée fixe demande une taille d’échantillon calculée, une méthode séquentielle des règles d’arrêt écrites.
- Contrôlez pendant le test. Le suivi porte sur la mesure, le délai de conversion et les changements lancés en parallèle.
- Décidez à la fin. Le gain et sa fourchette se comparent au seuil de rentabilité. Si plusieurs décisions restent possibles, dites-le clairement.
