Er gaat veel fout in de wereld van statistiek, zeker binnen de sociale wetenschappen. Het is vaak geen onwil, maar onkunde. Men teert op kennis die de universiteit hen heeft aangeleerd. Deze kennis is vaak echter ook al niet meer recent genoeg. Er zijn ook situaties waarin men fouten maakt omdat men denkt: ‘dat is toch niet zo moeilijk’, er is geen tijd om hulp te vragen of deze middelen zijn niet beschikbaar. Hoewel er bij sommige situaties genoeg te lachen valt, hoop ik vooral dat men er ook van leert. Daarom ben ik deze blog gestart. Want laten wij alsjeblieft niet allemaal opnieuw het wiel uitvinden. In mijn werk kom ik geregeld op vragen die mij hele interessante zoektochten opleveren. Ik wil die resultaten hier gaan delen, zodat anderen daar ook mee verder kunnen.

Dat brengt mij tot de eerste situatie die een collega van mij verleden jaar heeft meegemaakt. Het betrof een bijeenkomst waarin onderzoeken van behandelaren die in opleiding tot specialist waren hun eigen onderzoek moesten presenteren. Een van de onderzoeken ging over een training die een bepaald vooroordeel (de welbekende ‘bias’) zou moeten verminderen bij een specifieke groep mensen. Uit veel onderzoek bleek immers dat dit vooroordeel aanwezig was bij deze groep mensen. Het zou - zeker vanwege de mogelijke gevolgen van deze bias - zeer waardevol zijn als de training effectief zou blijken. Het werd een onderzoek met een keurige opzet: een interventiegroep met de groep mensen met dat veronderstelde vooroordeel en een controlegroep van ‘gezonde’ individuen. Enkele tijd later was de data binnen en kon men aan de slag met de analyses. Daar werd echter een cruciale fout gemaakt.

Soms kun je zo diep in je eigen onderzoeksvraag zitten dat je blind raakt voor de rest van de stappen. Je wilt namelijk weten of die training wel of niet werkt. Dan vergeet je soms een eerste stap. En nee, het gaat hier niet over de assumpties. Ik weet niet of die destijds wel gecontroleerd zijn. Het gaat namelijk om de vraag of dit veronderstelde vooroordeel in de huidige steekproef überhaupt terug te vinden is. Want je kunt wel een training geven om de bias te verminderen, maar als die niet voorkomt in jouw steekproef, dan wordt het lastig om te bepalen of jouw training wel echt een bias vermindert. Uit de histogrammen bleek namelijk dat de bias in dit onderzoek helemaal niet terugkwam in de data. De training verlaagde de negativiteitsbias wel, maar was vóór de training helemaal niet hoger in de ene groep dan in de andere. Toch concludeerde de onderzoekers dat hun training hielp om het vooroordeel te verminderen. Een onjuiste conclusie, want de enige juiste conclusie zou zijn dat de training de negativiteitsbias vermindert, maar in beide groepen evenveel. De aanvullende vraag zou zijn of de training überhaupt nodig is, omdat er in dit onderzoek helemaal geen verschil in bias bleek te bestaan.

Dit is natuurlijk een fout die kan voorkomen, maar eigenlijk ook niet had mogen verschijnen op een eindproduct. En dan is het ook nog pijnlijk dat het precies deze poster was die de prijs voor beste poster heeft ontvangen. Terwijl een plaatje op de poster verried dat de gehele veronderstelling over een bias incorrect bleek te zijn voor de onderzochte steekproef. Dat snijdt gelijk een ander onderwerp voor later aan: de verraderlijkheid van illustraties. Maar dat voor later. Voor nu wil ik afsluiten met de boodschap: vergeet je bias niet te checken.