1° Step per Affrontare (seriamente) uno Split Test A/B

Se ti interessa l'argomento split test A/B non può non mancare nel tuo cassetto degli attrezzi un metodo per tenere traccia di tutti gli esperimenti che effettui per te o per i tuoi clienti.

In allegato a questo articolo trovi un report dettagliato sul workflow che utilizzo quando devo effettuare test di tipo A/B. Troverai, inoltre, il template che utilizzo per tenere traccia di tutto. Effettuare uno split test, se fatto seriamente, può diventare un bella sfida avvincente.

Foto A/B Testing, fonte: smashing magazine

Ecco cosa non deve mancare, seconda la mia esperienza, in un template che tiene traccia di un split test A/B:

  • Data del test
  • Numero univoco identificativo del test (un piccolo trucchetto che uso)
  • Definizione dell'obiettivo del test A/B
  • Tempo necessario a sviluppare il test
  • Previsione di fine test
  • Task list delle attività da svolgere per creare l'esperimento
  • Scelta delle metriche di valutazione dell'obiettivo

Da dove partire per effettuare un split test A/B?

Definire il proprio obiettivo

All'interno del PDF troverai una sezione dedicata alla definizione dell'obiettivo e le sue 3 caratteristiche principali che lo rendono valido. La pianificazione di un obiettivo ci deve fare riflettere e pensare a tutti quei passaggi che ci portano ad avvicinarci ad esso.

Il cervello umano cerca costantemente risposte. Vi è mai successo di avere un problema e trovare la risposta dopo qualche tempo? A me spesso, soprattutto quando affronto una sessione di brainstorming. Mi capita di lasciare in sospeso dei rami della mia mappa mentale non sapendo come riempirla e poi...

Dopo qualche giorno, BANG! Il colpo di genio che ti permette di trovare alcune possibili soluzioni adatte al tuo problema.

L'obiettivo è il nostro problema da risolvere:

  • Con quali attività riusciamo a raggiungerlo?
  • Abbiamo già affrontato un caso simile?
  • Abbiamo tutto il necessario per raggiungerlo?

Chiarire alcuni aspetti dell'obiettivo è il primo passo per raggiungerlo! Non trovate?

Scegliere le metriche di valutazione di uno split test A/B

"Non si può dire di aver raggiunto il traguardo se non si vede il traguardo", una frase scontata che porta con se una grande verità. Come valutiamo se abbiamo raggiunto o meno il nostro obiettivo?

Quali metriche scegliamo? Come facciamo a sapere se le metriche scelte sono quelle corrette?

Parte della risposta risiede nell'esperienza e nelle conoscenze di ognuno di noi, l'altra parte nel modo corretto di pensare al risultato. Una domanda che mi aiuta e che lo stesso Avinash, nel suo libro Analytics 2.0, affronta è chiedersi: "il valore associato a questa metrica cosa indica del mio obiettivo? "

Esempio

Se l'obiettivo è: migliorare la percentuale di  richiesta di contatto allora il tasso di conversione cosa mi indica rispetto al mio obiettivo? Che ho acquisito una percentuale di nuovi utenti?

Se però il mio obiettivo fosse stato non acquisire un nuovo utente ma acquisire un nuovo cliente? Il tasso di conversione sarebbe stato ancora valido? Direi di no perché non è detto che ogni utente (quindi prospect) si trasformi in cliente. Il tasso di conversione non sarebbe bastato ma avrei dovuto aggiungere il tasso di conversione da prospect a cliente considerando solo il traffico dell'esperimento.

Alcune risorse utili

Smashing Magazine: The ultimate guide to A/B Testing

Cennydd.co.uk (articolo del 2009): statistical significance other a/b testing

Scarica i PDF in allegato

Non rimane che scaricare i PDF in allegato e partire anche tu a pianificare i tuoi prossimi split test in maniera professionale!