A/B-testauksessa, jota kutsutaan myös split-testaukseksi, verrataan nykyistä versiota eli kontrollia muutettuun versioon eli varianttiin. Työkalu ohjaa jokaisen kävijän tai vastaanottajan satunnaisesti jompaankumpaan versioon. Kun riittävän moni on nähnyt kummankin, verrataan sitä yhtä mittaria, josta sovittiin etukäteen, esimerkiksi rekisteröitymisiä, ostoja tai sähköpostin klikkauksia.
Koska molemmat ryhmät näkevät oman versionsa samana ajanjaksona, ulkoiset tekijät kuten sesonki, uutiset tai kilpailijan ale vaikuttavat niihin yhtä paljon. Juuri tämä erottaa oikean testin pelkästä ennen ja jälkeen -vertailusta. Split-testejä löytyy sähköpostityökaluista, mainosalustoilta (Google Adsin kokeilut, Metan A/B-testit), verkkosivujen testausohjelmista ja monista laskeutumissivujen rakennustyökaluista.
Toimintaperiaate
Miten split-testi päätyy tulokseen
Aloitat hypoteesista: lomakkeen lyhentäminen lisää valmiita yhteydenottoja, koska kävijät jättävät lomakkeen kesken puhelinnumerokentän kohdalla. Valitset yhden päämittarin, päätät etukäteen, montako kävijää kumpikin versio tarvitsee ennen kuin katsot tulosta, ja annat työkalun jakaa liikenteen, yleensä puoliksi.
Kun testi päättyy, kysymys kuuluu, onko versioiden välinen ero isompi kuin pelkkä satunnaisvaihtelu tuottaisi. Testaustyökalut ilmoittavat tämän tilastollisena merkitsevyytenä tai todennäköisyytenä sille, että variantti voittaa kontrollin. Mitä pienempää eroa odotat ja mitä matalampi lähtötaso on, sitä enemmän liikennettä tarvitset. Siksi vähäisen liikenteen sivustolla pientä sanamuodon muutosta ei yleensä saa testattua järkevässä ajassa.
Tulosta liikuttaa muutoksen koko. Tarjouksen, otsikon tai lomakkeen pituuden uudistaminen muuttaa käyttäytymistä yleensä enemmän kuin painikkeen värin vaihtaminen, joten ensimmäiset testit kannattaa kohdistaa niihin sivun osiin, joita kävijät oikeasti lukevat.
Esimerkki
Laskettu esimerkki rekisteröitymissivulta
Oletetaan, että ohjelmistoyritys testaa uutta otsikkoa kokeilujakson tilaussivullaan. Esimerkissä kolmen viikon aikana 4 000 kävijää näkee kontrollin ja 4 000 varianttia. Kontrolli tuottaa laskelmassa 120 kokeilua, jolloin konversioaste on 3,0 prosenttia. Variantti tuottaa esimerkissä 152 kokeilua eli 3,8 prosenttia.
Suhteellinen nousu saadaan jakamalla ero kontrollin tasolla: laskelmassa 0,8 jaettuna 3,0:lla on noin 27 prosenttia. Oletetaan, että testaustyökalu raportoi näin suuren eron syntyvän sattumalta alle 5 prosentissa tapauksista. Tiimi julistaa variantin voittajaksi ja ottaa sen käyttöön.
Vaikutus kustannuksiin on suora. Jos maksettu liikenne, 8 000 käyntiä kuukaudessa, maksaa 16 000 euroa, kontrolli toisi 240 kokeilua noin 67 euron kappalehintaan, kun taas variantti toisi 304 kokeilua noin 53 euron hintaan. Jos sama testi lopetettaisiin jo 500 kävijän jälkeen kummallakin puolella, muutaman kokeilun ero olisi voinut yhtä hyvin kääntyä toisin päin.
Käyttö
Milloin split-testi on oikea työkalu
- Käytä sitä, kun sivu tai sähköposti saa niin paljon liikennettä, että selvä vastaus syntyy muutamassa viikossa, sillä kuukausia kestävät testit keräävät liikaa ulkopuolisia muutoksia.
- Käytä sitä myyntiin vaikuttaviin päätöksiin, kuten tarjoukseen, hinnan esitystapaan, lomakkeeseen tai pääotsikkoon, eikä kosmeettisiin yksityiskohtiin.
- Testi johtaa harhaan, kun mittari on liian pinnallinen: aiherivi voi voittaa avauksissa mutta hävitä ostoissa myöhemmin suppilossa.
- Vähäisen liikenteen sivustolla asiakashaastatteluihin perustuva selkeä uudelleenkirjoitus on usein hyödyllisempi kuin testi, joka ei koskaan pääse tulokseen.
Sudenkuopat
Yleiset virheet A/B-testauksessa
- Raportin tarkistaminen joka päivä ja testin pysäyttäminen heti, kun variantti menee johtoon, jolloin voittajaksi julistetaan pelkkä satunnainen heilahdus.
- Otsikon, kuvan ja lomakkeen muuttaminen samassa variantissa, jolloin kukaan ei tiedä, mikä kolmesta muutoksesta tuloksen aiheutti.
- Testin ajaminen vain poikkeusviikolla, kuten Black Fridayn tai joulusesongin aikaan, jolloin voittaja kuvaa ostajia, joita ensi kuussa ei enää ole.
- Painikkeen klikkausten mittaaminen sen toiminnon sijaan, jota yritys oikeasti tarvitsee, kuten valmiin oston tai laadukkaan yhteydenoton.
- Hypoteesin ja tuloksen kirjaamatta jättäminen, jolloin tiimi toistaa vanhoja testejä ja unohtaa jo oppimansa.
Kysymykset
Kysymyksiä aiheesta A/B-testaus
Kuinka pitkään A/B-testin pitää pyöriä, ennen kuin tulokseen voi luottaa?
Päätä kesto ennen käynnistystä lähtötason ja pienimmän havaitsemisen arvoisen nousun perusteella. Moni tiimi kattaa vähintään kaksi täyttä viikkoa, jotta sekä arkipäivät että viikonloput ovat mukana. Ennenaikainen lopettaminen sen takia, että toinen versio näyttää olevan edellä, on tavallisin tapa julistaa väärä voittaja.
Paljonko liikennettä A/B-testaus vaatii?
Se riippuu siitä, kuinka usein tavoite toteutuu ja kuinka isoa muutosta toivot näkeväsi. Matalan konversioasteen sivu ja hienovarainen muutos vaativat paljon kävijöitä versiota kohden. Jos otoskokolaskuri kertoo testin kestävän kuukausia, testaa rohkeampaa muutosta tai sivua, jolla on enemmän liikennettä.
Mitä eroa on A/B-testauksella ja monimuuttujatestauksella?
A/B-testi vertaa kokonaisia versioita, yleensä yhtä muutosta alkuperäiseen. Monimuuttujatesti yhdistelee useita elementtejä kerralla, kuten otsikkoa ja kuvaa, ja näyttää, mikä yhdistelmä toimii. Se jakaa kävijät moniin ryhmiin, joten se sopii sivustoille, joilla on runsaasti liikennettä.