Retour d’expérience
SNSM : Faire de l’A/B testing pendant ses campagnes de collecte de fin d’année
Découvrez comment Les Sauveteurs en Mer – SNSM ont augmenté à la fois leur taux de conversion et leur don moyen sur mobile grâce à des campagnes A/B testing.
Contexte et Objectifs
Le bénéficiaire : Les Sauveteurs en Mer – SNSM.
Le constat :
- 60% du trafic web se fait sur mobile (jusqu’à 75% pendant les campagnes d’appel à dons) mais il convertit peu (seulement 15% des dons).
- Le trafic mobile tend à progresser et devenir de plus en plus important.
Les opportunités :
- Beaucoup de volume de dons pendant les campagnes de fin d’année.
- Un outil de collecte (GiveXpert) qui permet de créer un formulaire de don spécifique mobile, plus court et plus rapide.
La problématique :
- Quels tests mener à l’occasion des campagnes de fin d’année pour savoir quels points optimiser sur mon formulaire de dons mobile ?
Les objectifs de l’AB Test :
- Améliorer leur taux de transformation.
- Inciter les mobinautes à transformer plus.
Le formulaire de don mobile de la SNSM : https://don.snsm.org/mobile
Les résultats obtenus par la SNSM
grâce à l’AB Testing avec GiveXpert
+2000€
de dons collectés avec un formulaire optimisé mobile
➡️
+25,4€
sur son don moyen en variant les étapes de son formulaire
➡️
X 2,5
de taux de conversion entre la landing page et le formulaire
➡️
+2000€ de dons avec un formulaire optimisé mobile
🤔 Hypothèse
- « Si on fait un formulaire de dons plus court, plus rapide, ça incitera plus les mobinautes à transformer. »
⚗️ Test réalisé
- Un AB Test focus “conversion sur formulaire de don mobile”.
- Pendant la campagne été du 15/06 au 31/08/2022.
- Création de 2 formulaires de dons mobiles avec un parcours en 2 étapes.
- Une seule distinction entre les 2 formulaires : l’adresse postale optionnelle avec une case à cocher ou non.
- Redirection aléatoire vers une version ou l’autre à 50% 50% du trafic mobile.
- URL présentée sur l’ensemble des supports d’acquisition, i.e. campagnes SEA Google, Bing, Qwant, Facebook, emails de fidélisation…
🪄 Résultats obtenus
- Le formulaire de don avec la version adresse postale optionnelle a davantage collecté :
- Un meilleur taux de conversion : 3,66% – VS – 3,31%
- Un don moyen un peu plus élevé : 69€ – VS – 67€
- Avec un trafic quasiment similaire sur les 2 formulaires, cela représente plus de 2000€ de différence.
👩🏫 Enseignements tirés
-
L’AB test doit se baser uniquement sur un seul élément, une seule variation. En effet, s’il y a trop de choses, on ne peut pas savoir quel élément permet de légitimer les résultats qu’on peut en tirer à la fin.
-
Se poser les bonnes questions avant de faire son AB test :
-
Pourquoi faire cet AB test ?
-
Qu’est-ce qu’on cherche à démontrer ?
-
Qu’est-ce qu’on pense qu’on va trouver comme résultat ?
-
Comment on réalise son AB test ?
-
Comment on va mesurer, piloter, suivre l’AB Test ?
-
- Toujours avoir des objectifs chiffrés, quantifiables et factuels.
🔧 Outils utilisés
Formulaire de don mobile
Détection automatique, entièrement personnalisables
Application d'AB test Google Optimize
Fourni par Google Analytics, méthodes statistiques bayésiennes, ciblage avancé
Tunnel d'acquisition
Intégralité de ses supports d’acquisition, de trafic et de dons de sa campagne
🧙 Explications
+25,4€ sur son don moyen en variant les étapes de son formulaire
🤔 Hypothèse
- « Plus un formulaire de don est court et rapide, plus le taux de conversion sera élevé sur mobile ».
⚗️ Test réalisé
- Un AB Test focus “longueur du formulaire de don »
- Création de 2 formulaires : 1 principal avec la grille 3 colonnes qui se superposent quand tu es sur mobile et 1 secondaire avec la grille en 2 étapes.
- Le formulaire de dons principal comporte tous les champs et tous les moyens de paiement.
- Le formulaire de dons secondaire a les mentions légales raccourcies, le don par chèque et le prélèvement automatique désactivés, le chatbot retiré, les champs date de naissance et inscription à la newsletter supprimés.
🪄 Résultats obtenus
- Grosse surprise, c’est le formulaire de don principal qui a les meilleurs résultats :
- Avec un taux de conversion à 3,22%, il surpasse celui du formulaire de don avec l’adresse postale optionnelle qui est à 3,20%.
- Le don moyen est à 87,9 euros versus 67,4€ pour le formulaire secondaire 2 étapes.
👩🏫 Enseignements tirés
- Ce test reste à refaire (par exemple pendant la campagne hiver) car le formulaire de don principal était déjà référencé naturellement. Il se peut donc que les gens qui ont utilisé ce formulaire soient arrivés dessus en trafic direct ou référencement naturel car ils avaient l’intention de faire un don dès le début.
- Pour avoir un bon AB Test avec une conclusion pertinente, il faut qu’il y ait minimum 1000 transactions. Ici on est loin, même si grâce aux statistiques Analytics, ce n’est pas très loin de la vérité.
🔧 Outils utilisés
Formulaire de don
Souplesse de configuration, entièrement personnalisables
Google Analytics
Analyse d’audience d’un site Web ou d’applications
🧙 Explications
Un taux de conversion multiplié par 2,5 entre l’usage d’une landing page et un formulaire de don seul
🤔 Hypothèse
- « Tu perds une étape si tu veux faire un don et que tu arrives sur une landing page qui présente l’association, sa naissance, les chiffres-clés et qui appelle au don. Tandis que le formulaire de don t’invite tout de suite à faire un don. Tu as donc un risque de perdre des donateurs via la landing page, mais en même temps le formulaire de dons comme page directe d’atterissage pour des personnes qui ne te connaissent pas, cela peut-être un peu abrupt.«
⚗️ Test réalisé
1er dispositif :
- 6 AB Tests en 3 ans (1 en été et 1 en hiver chaque année) pour confronter la landing page avec le formulaire de dons.
- Se baser sur l’URL de redirection lors de campagnes SEA pour comparer la performance et la pertinence de ces 2 pages.
- Lancement de campagnes Google & Bing Ads de ciblages par mots clefs.
2e dispositif :
- Habillage de la page d’accueil du moteur de recherche Qwant avec le même visuel.
- AB Test sur l’URL de redirection pour comparer les performances de la landing page – VS – le formulaire de don.
- 1er jour : redirection vers la landing page
- 2e jour, redirection vers le formulaire de don
🪄 Résultats obtenus
1er dispositif :
- Pour chacune des campagnes, c’est à chaque fois les campagnes qui renvoient vers la landing page qui présentent les meilleures performances sur les premières semaines de campagne.
- Les semaines qui suivent, ce sont les annonces renvoyant vers le formulaire de don présentent de meilleures performances en termes de collecte, don moyen et taux de conversion.
2e dispositif :
- La landing page a mieux collecté et obtenu un meilleur taux de conversion que le formulaire de don
- Montants collectés : 1705€ – VS – 1435€
- Taux de conversion : 1,58% – VS – 0,64%
- En revanche le don moyen est 2 fois plus élevé sur le formulaire de don que sur la landing page :
- Don moyen : 143,5€ – VS – 77,50€
👩🏫 Enseignements tirés
- Qwant : super dispositif qui permet quand de cumuler beaucoup d’impressions, beaucoup de visibilité.
- La landing page est utile puisqu’elle permet un meilleur taux de conversion et collecte parfois plus que le formulaire de don seul.
🔧 Outils utilisés
Landing page
Mini-sites et pages dédiés à chaque appel à l’action.
Qwant
Moteur de recherche français qui se veut impartial dans l’affichage des résultats.
🧙 Explications
Les étapes pour mettre en place un AB test
« Merci Audrey pour le partage de ces chiffres.
Désormais, les tags Google Analytics 4 et Matomo sont disponibles dans GiveXpert.
Contactez notre équipe support si vous n’avez pas encore fait cette migration. On pourra vous donner les codes à mettre en place pour passer à Google Analytics 4. »
FAQ sur ces campagnes d’AB testing
D'autres idées de test à réaliser sur les formulaires de dons ?
Une autre idée de test couramment effectué est le test sur la personnalisation. D’un côté on va préremplir le formulaire de don par rapport à des données déjà fournies et de l’autre ne pas faire de pré-remplissage. Ces tests-là sont un peu plus complexes à mettre en œuvre comme il y a des variables passées dans l’URL. Cela nécessite une configuration de Google Optimize où l’on utilise la fameuse fonctionnalité “URL configuration avancée”.
Audrey a mis ça en place via leurs emails internes. Elle a approfondi l’interfaçage entre leur outil de routage emailing et leur base de données en y remontant tout un tas d’informations : nom, prénom, ville, date d’anniversaire, affectation du don s’il est rattaché à un établissement. Ainsi les personnes cliquent directement sur le bouton dans leurs emails et arrivent sur le formulaire de don pré-complété avec leurs coordonnées. Cela nécessite du travail de mise en place mais ça vaut le coup.
Aussi, nous partageons tous les 2e mardi du mois dans notre newsletter une rubrique « L’expérience menée avec les résultats chiffrés et nos apprentissages. » dans laquelle vous retrouverez différentes idées de tests menées : https://www.givexpert.com/newsletter-fundraising-plus-impact/
Quelle est la facilité de mise en place de ces dispositifs ?
Audrey ne l’a pas paramétré seule car elle ne maîtrise pas Google Optimize. Elle a fait appel à l’agence qui les accompagne sur le digital, notamment Christopher Guillou qui est spécialisé web marketing.
Après c’est plus du temps. Au début tu passes forcément beaucoup de temps dans ton analytics ou dans tes statistiques à regarder comment ta collecte se comporte, quels sont tes résultats etc. Pour essayer d’améliorer son taux de conversion mobile, Audrey avait regardé ce qui se fait chez d’autres associations, comment elles font leur formulaire de don mobile. Ensuite, elle avait regardé les habitudes de comportement, de trafic et de dons au sein de son organisation. Elle a pu voir que 95% des dons étaient ponctuels sur le mobile, que c’était majoritairement des dons avec de faibles montants etc. C’est donc plus une question de temps que de facilité. Trouver le temps de creuser dans ses chiffres, d’avoir le temps de réfléchir à des tests, comment les mettre en place, échanger avec son équipe pour la mise en place, qu’est-ce qu’on fait ? Parce qu’au début, Audrey n’était pas forcément partie sur ce type de distinction par rapport à l’adresse postale optionnelle.
Audrey avait constaté que de nombreuses associations utilisent un formulaire de mobile sur lequel il n’y a pas de montants de dons proposés. Or, ce qu’elle a pu voir sur différents dashboards, c’est que 50% des gens vont faire un don en utilisant les montants proposés et le 50% restant met un montant de don libre.
Dans tous les cas, c’est sûr que les outils comme Google Optimize nécessitent une prise en main. Cependant il n’y a pas de grand risque dans le sens où le seul risque est que votre test ne serve à rien. Dans tous les cas il n’y a pas de risque de renvoyer quelqu’un nulle part ou d’effacer votre formulaire.
D’autres outils existent comme AB Testy (français) avec un accompagnement et des formations qui sont disponibles. Cela peut être une alternative à Google Optimize.
Enfin, il y a toujours le module de Matomo qui existe mais comme pour Google Optimize il vaut mieux se faire accompagner (ou alors faut prendre du temps pour se former à l’outil).
Nous faisons bcp de petites campagnes (sur 2 semaines). Est-ce incompatible avec l'AB testing ?
Voici un lien vers un calculateur de signifiance statistique.
Il permet de valider la véracité de son test. En effet, la pertinence des résultats de son test dépend en réalité à la fois du nombre de visiteurs et du nombre de conversions. Grâce à cela, on valide le fait qu’on peut tenir compte du test réalisé et ensuite généraliser l’enseignement qu’on en a tiré.
C’est important car cela permet de se sécuriser sur le fait que même s’il n’y a eu que 300 transactions, l’écart qu’on obtient en termes de taux de transformation justifie le fait de généraliser l’optimisation parce que c’est valide statistiquement.
C’est la seule bonne réponse parce que si vous faites un test et votre taux de transformation double, vous n’avez pas besoin de plus de 300 transactions pour que ce test soit valide statistiquement, tellement l’écart est important entre les 2 versions. En revanche, admettons que vous faites un test et qu’il y en a un qui convertit à 3 et l’autre converti à 3,16. Alors dans ce cas il va probablement vous falloir 10 000 visiteurs et 2500 transactions, vu le peu de différences qu’il y a entre les 2, pour valider statistiquement que oui, cette modification qui vous a fait gagner 0,16% de transformation, vous devez la généraliser.
Vous envisagez de mener une campagne d’AB Testing ?
Etudions votre projet !
Alexandre et Lydia, experts en fundraising, étudieront votre projet avec soin !
Nos intégrations pour évaluer la performance de vos campagnes
Optimisez votre taux de transformation
ressource gratuite
Nos LinkedIn Lives mensuels
Notre RDV 1 fois/mois de 45 min de partage d’expérience, de retours sur les bonnes pratiques en termes de collecte digitale et d’analyse d’une problématique de levée de fonds en ligne.