Een controlegroep: wat deed je bericht echt?
Klanten die een herinnering krijgen, bestellen vaak opnieuw. Veel van hen hadden dat toch al gedaan. Een controlegroep laat zien wat het bericht daar bovenop toevoegde.
Oftenflow doet dit per klant, elke ochtend.
Op de wachtlijstWat een controlegroep is
Een controlegroep is een willekeurig deel van de klanten die je wilde mailen. Zij krijgen niets. Verder blijft alles gelijk.
Achteraf vergelijk je de twee groepen. Het verschil in bestellingen is wat het bericht deed. De rest was ook zonder bericht gebeurd.
Effect = bestelpercentage van de gemailde groep − bestelpercentage van de controlegroep. Extra bestellingen = effect × aantal gemailde klanten.
Splits willekeurig
De verdeling moet willekeurig zijn. Houd je je minst actieve klanten achter, dan lijkt het bericht beter dan het is.
Bepaal de verdeling vóór het versturen. Geef in een spreadsheet elke klant een willekeurig getal, sorteer erop en knip de lijst.
- Splits binnen hetzelfde segment, op dezelfde dag.
- Verplaats achteraf geen klanten tussen de groepen.
- Laat beide groepen verder alles gewoon ontvangen, zoals nieuwsbrieven en servicemails.
Hoe groot maak je hem
Een grotere controlegroep geeft een duidelijker antwoord, maar meer klanten missen het bericht. 10% tot 20% is een gebruikelijk begin.
Het gaat om het aantal bestellingen in de controlegroep, niet om het percentage. Zijn dat er maar een handvol, dan beslist het toeval.
Tel bestellingen, geen opens
Opens zijn onbetrouwbaar sinds mailapps afbeeldingen vooraf laden. Kliks zeggen weinig over geld. Tel bestellingen binnen een vaste termijn, bijvoorbeeld 14 dagen na verzending.
Gebruik voor beide groepen dezelfde termijn. Tel alle bestellingen, niet alleen die via de link in de mail.
1.000 klanten die te laat zijn. 900 krijgen een herinnering, 100 niets. Binnen 14 dagen bestellen 135 van de 900 opnieuw (15%) en 9 van de 100 (9%). Effect: 6 procentpunt. 6% × 900 = 54 bestellingen die het bericht toevoegde. De andere 81 waren er waarschijnlijk toch gekomen.
Kleine winkels
Met weinig klanten geeft één verzending zelden een duidelijk antwoord. In het voorbeeld telt de controlegroep maar 9 bestellingen. Met 11 in plaats van 9 zakt het effect van 6 naar 4 procentpunt.
- Tel de resultaten van een paar weken met hetzelfde bericht bij elkaar voordat je iets besluit.
- Houd een controlegroep met een vast aandeel doorlopend aan, zodat de vergelijking zich opbouwt.
- Kijk naar de spreiding, niet naar één getal. Schommelt het effect per week, dan weet je het nog niet.
- Accepteer “geen duidelijk verschil” als antwoord. Ook dat zegt iets.
De maandagmail van Oftenflow telt bestellingen na berichten die jij goedkeurde, vergeleken met een controlegroep van vergelijkbare klanten die niets kregen.
Oftenflow is in ontwikkeling. Dit beschrijft wat we bouwen.
