Aller au contenu principal

A/B Testing

L'A/B testing vous permet de comparer plusieurs versions d'un email pour identifier celle qui performe le mieux, puis d'envoyer automatiquement la gagnante au reste de votre liste.

Cette fonctionnalité n'est pas encore accessible depuis l'éditeur de campagne — elle se pilote aujourd'hui via l'API. Contactez le support CRMarket si vous voulez qu'on la mette en place pour une campagne.

Comment ça fonctionne

  1. Vous créez au moins deux variantes qui diffèrent sur un seul élément.
  2. CRMarket envoie chaque variante à une portion égale de votre liste (le pourcentage total réparti entre les variantes est configurable, 20% par défaut).
  3. Après la durée que vous avez choisie, CRMarket calcule le taux de chaque variante sur le critère choisi et désigne automatiquement la meilleure.
  4. La variante gagnante est envoyée au reste de la liste.

Testez une seule variable à la fois. Si vous changez l'objet ET le contenu en même temps, vous ne saurez pas ce qui a fait la différence.

Créer un test (API)

POST /api/v1/campaigns/:id/ab-test

La campagne doit être en statut draft. Au moins 2 variantes sont requises.

{
  "test_variable": "subject_line",
  "split_percent": 20,
  "winner_metric": "open_rate",
  "winner_after_hours": 4,
  "variants": [
    { "name": "A", "subject_line": "Votre rapport mensuel" },
    { "name": "B", "subject_line": "Alice, vos stats de novembre sont là" }
  ]
}
  • split_percent — pourcentage total de la liste consacré au test, réparti à parts égales entre les variantes (20% divisé en 2 variantes = 10% chacune). Par défaut 20.
  • winner_after_hours — nombre d'heures avant la sélection automatique du gagnant. Par défaut 4 — n'importe quelle valeur entière positive est acceptée, ce n'est pas limité à des paliers fixes.
  • winner_metric — voir le tableau ci-dessous.

Ce que vous pouvez tester

test_variable accepte :

| Valeur | Ce qui change entre les variantes | |---|---| | subject_line | L'objet de l'email | | content | Le contenu — chaque variante peut pointer vers un template différent |

Critère de victoire (winner_metric)

| Critère | Quand l'utiliser | |---------|-----------------| | open_rate | Pour tester l'objet | | click_rate | Pour tester le contenu, les boutons, les images | | conversion_rate | Pour tester des offres (nécessite le tracking de conversion) |

Consulter le résultat

GET /api/v1/campaigns/:id/ab-test
{
  "data": {
    "status": "winner_selected",
    "winner_variant_id": "...",
    "winner_selected_at": "2026-09-18T14:00:00Z",
    "significant": false,
    "p_value": 0.23,
    "variants": [{ "id": "...", "name": "A", "sent_count": 20 }]
  }
}

Le gagnant est toujours la variante au taux brut le plus haut, et il est toujours envoyé automatiquement au reste de la liste dès que winner_after_hours s'est écoulé — CRMarket n'attend jamais une confirmation manuelle, pour ne pas retarder l'envoi.

significant et p_value indiquent séparément si l'écart entre le gagnant et son dauphin dépasse le seuil de confiance à 95% (test statistique à deux proportions) — c'est-à-dire si vous pouvez vraiment faire confiance au résultat, ou si l'échantillon était trop petit pour trancher. p_value < 0.05 équivaut à significant: true. Un significant: false sur un petit échantillon ne veut pas dire que le test a échoué : ça veut dire qu'il faudrait plus de données (une liste plus grande, ou une différence plus marquée entre les variantes) pour en être sûr.