IMPAQT #05 – Comment réaliser une campagne A/B test efficace ?

Et si on vous disait que nous utilisons parfois la science dans le Product Management ? La méthode dont nous allons vous parler est initialement utilisée en biologie et a depuis fait ses preuves auprès des équipes produit et marketing : il s’agit du fameux AB test, qui sera à l’honneur dans l’épisode 5 d’IMPAQT ! Notre invité Clément Caillol, Head of Product chez Monisnap (ex ManoMano), nous dit tout sur cet outil et sur la manière de l’utiliser de façon pertinente et efficace.

L’AB test est un outil d’aide à la décision. Il permet de comparer deux versions d’un même produit, d’une même fonctionnalité ou d’une même interface dans le but de déterminer la plus efficace. Comme expliqué en vidéo, il faut se baser sur une première version pour ensuite la comparer. L’AB test est donc très utile notamment en phase d’exploitation, aussi dite phase de run, pour apporter une amélioration à la situation initiale.

Clément nous donne ses 6 étapes pour construire un AB test efficace :

1. Trouver une hypothèse : elle donnera lieu à un KPI, par exemple : le taux d’ouverture d’un mail.

2. Identifier le standard : quelle est la situation actuelle que nous souhaitons améliorer ? Pour reprendre notre exemple, aujourd’hui le taux d’ouverture est de 2%.

Ensuite, trois pré-requis sont nécessaires avant de se lancer, afin de limiter les biais et de ne pas comparer des pommes avec des carottes.

3. Définir un minimum effet détectable : à quel moment les résultats mesurés sont considérés comme viables ? Pour cela, il faut définir une fourchette de résultats comprise entre deux extrêmes. Exemple : un taux d’ouverture moyen compris entre 0,5% et 4%.

4. Définir le nombre d’observations nécessaires : combien de sujets souhaitons nous pour l’expérience ? Cela est fortement définit par le minimum effet détectable choisit. Plus la fourchette définie est serrée, plus nous aurons besoin d’observations.

5. Choisir des populations comparables : les deux groupes doivent être de même taille et avoir sensiblement les mêmes comportements et usages.

Une fois tous les ingrédients réunis… c’est parti !

6. Lancer l’AB test, et ne pas regarder les résultats tant qu’on n’a pas atteint le nombre d’observations défini précédemment, pour ne rien biaiser !

Tout cela vous paraît compliqué ? Pas de panique ! L’outil Evan’s Awesome A/B Tools calcule pour vous le nombre de sujets nécessaires et l’intervalle de confiance de votre AB test !  De plus, Clément vous livre dans un article dédié une méthodologie condensée en 4 étapes et vous donne plein d’autres astuces en vidéo pour vous lancer sans embûche. A votre tour : faites parler les statistiques !
Logo IMPAQT Version aout 2021

IMPAQT  est notre format court qui répond à un sujet Product & Quality Management.

À chaque épisode, un expert du Produit vous partage en vidéo sa connaissance sur un sujet précis au travers son expérience.

#ABtest #ClémentCaillol #Monisnap #Statistiques #Comparaison #Méthode #Outil #Product #Interview

PSSST 👀

Cet article vous a plu ❤️ ? N’hésitez pas à le partager pour que d’autres puissent en profiter ! Rejoignez-nous aussi sur Linkedin pour ne rien manquer et suivre notre veille sur les contenus Product & Quality !

Partager sur linkedin
Partager sur twitter
Partager sur email