A/B test oggetto email

Cosa ricevi

• Un'ipotesi scritta prima del test, così il risultato insegna qualcosa
• Due versioni dell'oggetto (tre solo se la lista è grande), diverse solo in quel punto
• La decisione presa sui clic e non solo sulle aperture, che oggi alcuni programmi di posta gonfiano
• Il calcolo di quanti contatti servono, e un test dichiarato «indicativo» se la lista è piccola: per decidere sui clic spesso servono decine di migliaia di contatti per versione, quindi con le liste più piccole si ripete la prova su più email
• Un resoconto di una pagina, che si apre anche dal telefono e si stampa, e il registro dei test aggiornato, con la regola per i tuoi oggetti

Come lo faccio

Un test sull'oggetto insegna qualcosa se parte da un'ipotesi scritta, cambia una cosa sola e si decide sui clic. Test dopo test si costruisce una regola per gli oggetti della tua lista.

1. IpotesiScrivo in una frase cosa mi aspetto, per esempio «un oggetto con il beneficio concreto porta più clic di uno con la curiosità». Deve potersi smentire.Perché conta: Senza ipotesi si sceglie un vincitore ma non si impara niente per il prossimo invio.
2. VariantiScrivo 2 oggetti, 3 solo se la lista è grande, diversi solo nel punto dell'ipotesi. Mittente, orario e contenuto restano uguali.Perché conta: Cambiare due cose insieme non dice cosa ha fatto la differenza.
3. Impostazione e campioneImposto la percentuale di test (per esempio 2 gruppi del 10-20%), la metrica e la durata, e calcolo se il campione basta.Perché conta: Decidere su poche centinaia di contatti trasforma il caso in una regola.
4. Invio e letturaDopo l'attesa leggo aperture e clic per variante, la differenza e la significatività, e scrivo la decisione.Perché conta: Le aperture da sole sono gonfiate: un oggetto può «vincere» senza portare un clic in più.
5. RegistroAggiungo una riga al registro dei test: ipotesi, numeri, decisione, cosa si è imparato.Perché conta: Senza registro lo stesso test si rifà fra sei mesi.

Le tecniche che uso

A/B test

Due versioni mandate a due gruppi scelti a caso, per confrontarle a parità di tutto il resto.

Ipotesi falsificabile

Una frase che il test può smentire, scritta prima dell'invio.

Significatività statistica

Il calcolo che dice se la differenza è abbastanza grande da non essere caso. Con liste piccole il test si dichiara «indicativo» e si ripete su più invii.

Click-through come metrica

Decido sui clic, o almeno controllo che i clic confermino le aperture, perché la protezione della privacy di Apple Mail gonfia le aperture.

Registro dei test

Il foglio che accumula ipotesi e risultati, da cui nasce la regola per gli oggetti.

Cosa comprende il prezzo

La modifica compresa: Ogni servizio comprende un giro di modifiche: guardiamo insieme la prima versione, mi scrivi in un elenco quello che non va e lo riadatto. Le modifiche in più, o le cose aggiunte dopo, si pagano a parte, con il costo scritto prima, nella lettera d'incarico.

La call di presentazione: Una call di presentazione per ordine, che presenta tutti i test insieme: chi ha vinto, quanto è affidabile il risultato e cosa cambia negli oggetti.