Af en toe wordt mij de vraag gesteld: “waarom rapporteert mijn ene analyse pakket meer bezoekers dan het andere pakket, het gaat toch om dezelfde bezoekers?” Men wil dan horen welke tool ‘de waarheid’ weergeeft. Met deze post wil ik duidelijkheid geven over hoe je dit kunt bepalen (al zal meestal het antwoord zijn: allebei).

Allereerst: check de implementatie!

Wanneer de meetverschillen te groot zijn (zie hieronder voor de definitie van ‘te’) of de trends zijn niet gelijk, is er waarschijnlijk iets mis met de implementatie van de tools. Staan de juiste codes wel op alle pagina’s? Worden in de ene tool wel campagnes gemeten en in de andere niet? Verschillen de IP-adres filters? Controleer goed of de implementatie correct en gelijk is.

Vervolgens: vergelijk je wel dezelfde cijfers?

Af en toe vergelijkt men onterecht verschillende cijfers. Twee klassieke voorbeelden:

• bezoeken versus bezoekers: één bezoeker kan meerdere bezoeken brengen aan de website;
• kliks versus bezoeken: AdWords kliks – gerapporteerd door AdWords – verschillen van AdWords bezoeken gerapporteerd door analyse tools (oorzaken).

Onvermijdelijke oorzaken meetverschillen

Zelfs wanneer de implementatie correct is en je vergelijkt de juiste cijfers, bestaan er alsnog meetverschillen tussen de tools. Dit komt doordat tools op verschillende manieren werken. Dit is onvermijdelijk en we zullen er dus mee moeten leren leven. Het is zeer complex en tijdrovend om een precieze verklaring te kunnen geven, aangezien de verschillen doorgaans veroorzaakt worden door veel kleine issues.

Enkele voorbeelden:

• Kliks op de refresh en back-button: worden deze wel of niet meegeteld?
• Volgorde van geplaatste codes: wanneer een code van de ene tool niet wordt geladen door een bug terwijl de code van een andere tool eronder staat, zal deze laatste code helemaal niet uitgevoerd worden;
• Time-outs binnen een bezoek: voor de meeste tools treedt na 30 minuten inactiviteit een time-out op. Denk aan een lang telefoontje tussendoor, een lunch of de bezoeker is door iets anders afgeleid. Wanneer het bezoek na deze 30 minuten weer wordt voortgezet, zal dit beschouwd worden als een nieuw bezoek. Deze time-out tijd kan verschillen tussen tools;
• Tijdzone instellingen: een tool waarvan de tijdzone betrekking heeft op de andere kant van de wereld zal dit bezoek aan een andere dag toekennen;
• Meten van andere zaken dan paginaweergaves: veel tools zijn nog gericht op het meten van enkel paginaweergaves. Sommigen gaan echter al een stap verder, denk aan het meten van flash, downloads en video’s (ook wel events genoemd). Zo zal de ene tool een homepage met een flashanimatie rapporteren als 1 paginaweergave, terwijl de andere 1 paginaweergave en 1 event meet;
• Browser instellingen op de pc van een bezoeker: wanneer javascript, cookies en images uitgeschakeld zijn, zullen sommige tools niets of minder meten;
• Real-time: rapporteert de tool meteen of niet? Zo heeft Analytics een vertraging van max. 24 uur, terwijl Yahoo! Web Analytics real-time rapporteert (om exact te zijn: na 7 seconden);
• Cookies: er bestaan 1st party en 3rd party cookies. De 3rd party cookies worden vaker verwijderd dan de 1st party cookies (verschillen tussen cookies);
• Geldigheidsduur cookie: de geldigheidsduur kan variëren van bv. een maand tot een half jaar (voorbeeld), etc.

Je ziet het: een hoop mogelijke oorzaken! Staar je dus niet blind op waarom de ene tool 450 bezoeken en de ander 435 bezoeken aangeeft. De trends tussen de tools moeten gelijk blijven.

Wat zijn acceptabele meetverschillen?

TNO heeft begin dit jaar het onderzoek ‘verschillen in web analytics’ afgerond: één van de eerste betrouwbare onderzoeken over meetverschillen tussen tools. Hierin is een betrouwbaarheidscheck opgenomen waarmee iedereen kan bepalen of de gerapporteerde data van al jouw gebruikte tools betrouwbaar zijn:

Bovenstaand overzicht geeft weer wat de maximale afwijking mag zijn, je ziet al dat dit soms grote verschillen kunnen zijn. Ook heeft TNO onderzocht wat de gemiddelde afwijking is tussen tools:

2 tools ->   9,5%
3 tools -> 15,8%
4 tools -> 19,7%
5 tools -> 22,5%
6 tools -> 24,7% (maar ga eerst eens nadenken of je ze echt allemaal nodig hebt…)