A/B test creatività

Cosa ricevi

• Un esperimento pulito fra due o più immagini o video, con una sola differenza fra loro
• L'ipotesi scritta prima di partire
• Il vincitore deciso sul costo per cliente o per contatto, non sui clic
• L'onestà sul limite: se i dati non bastano, il risultato è dichiarato solo indicativo
• Una pagina con ipotesi, varianti affiancate, numeri, decisione e lezione, e il registro dei test aggiornato

Come lo faccio

Un test serve se cambia una cosa sola, se decide sulla metrica che conta per te e se ha abbastanza dati, o dice onestamente che non ne ha. Il lavoro è impostarlo così e lasciare scritta la lezione per le campagne dopo.

1. Ipotesi e variabileScrivo prima cosa mi aspetto e perché, su una cosa sola: video o immagine, angolo, persona in camera o no, prima inquadratura.Perché conta: Cambiando tre cose insieme, alla fine non si sa quale ha fatto la differenza.
2. Durata e dati attesiBudget del test diviso il costo per risultato atteso dà le conversioni per variante; se sono poche si allunga, si accorpa o si dichiara il test indicativo.Perché conta: Un vincitore proclamato con 8 conversioni è un caso, non una lezione.
3. VariantiLe due creatività sono uguali in tutto tranne la variabile; le guardo affiancate prima del lancio.Perché conta: Una differenza in più passata inosservata rende il test inutile.
4. ImpostazioneSu Meta lo strumento Esperimenti con pubblici divisi senza sovrapposizione; su Google un esperimento personalizzato con divisione del traffico, dove la campagna lo permette.Perché conta: Due inserzioni lanciate nello stesso gruppo non sono un test: Meta sceglie presto quella che preferisce.
5. Corsa senza interventiIl test va fino alla fine stabilita, almeno 7 giorni, senza toccare niente.Perché conta: Fermarlo al terzo giorno perché una variante «va meglio» premia il caso.
6. Lettura e registroDifferenza sulla metrica chiave, livello di fiducia dichiarato dallo strumento, qualità dei contatti per variante; la vincente diventa la base e la lezione si scrive.Perché conta: Una lezione non scritta si rifà da capo fra sei mesi.

Le tecniche che uso

A/B test

Il confronto fra due versioni uguali tranne un elemento, mostrate a gruppi di persone diversi e paragonabili.

Metrica chiave

Il numero che decide il vincitore: costo per cliente, costo per contatto qualificato, ritorno sulla spesa. Mai il solo tasso di clic.

Livello di confidenza

Quanto è probabile che la differenza non sia dovuta al caso. Lo riporto accanto a ogni risultato.

Test direzionale

Un test con pochi dati, che indica una direzione senza dimostrarla. Con budget piccoli lo dico, invece di proclamare un vincitore.

Test log

Il registro dei test: ipotesi, varianti, periodo, risultato, fiducia, cosa si è imparato.

Cosa comprende il prezzo

Non compreso: Il budget del test, pagato da te direttamente alla piattaforma.

La modifica compresa: Ogni servizio comprende un giro di modifiche: guardiamo insieme la prima versione, mi scrivi in un elenco quello che non va e lo riadatto. Le modifiche in più, o le cose aggiunte dopo, si pagano a parte, con il costo scritto prima, nella lettera d'incarico.

Tempi: Il test corre almeno 7 giorni; il riferimento per un risultato affidabile sono due settimane o più.

La call di presentazione: Una call di presentazione di 15 minuti per ordine: cosa ho provato, cosa ha vinto e il prossimo test.