Daniel Kahneman had al eens een heel veld overhoop weten te halen. Met zijn werk had hij economen ervan weten te overtuigen te kijken naar wat mensen daadwerkelijk doen, in plaats van ervan uit te gaan dat ze rationele wezens zijn. Daarvoor kreeg hij in 2002 de Nobelprijs van de economie.
In 2011 zette hij de boekenwereld op zijn kop. Met zijn boek Thinking, Fast and Slow (Ons feilbare denken) waarin hij de balans opmaakte van de belangrijkste bevindingen in de sociale psychologie, stak hij zelfs even Fifty Shades of Grey naar de kroon in de bestsellerlijsten.
Maar datzelfde jaar dreigde ook de sociale psychologie blijvend te veranderen. Niet dankzij het werk van Kahneman – hoewel zijn ideeën over systeem 1 en systeem 2-denken nauwelijks nog zijn weg te denken – maar door het frauduleuze handelen van zijn collega’s. Alleen al door de praktijken van Diederik Stapel werden meer dan vijftig artikelen teruggetrokken, waarna er ook vraagtekens werden gezet bij andere opvallende vondsten in de sociale psychologie.
Replicatie werd belangrijk: in hoeverre konden bevindingen in onderzoeken worden gerepliceerd? In 2012 publiceerden onderzoekers een studie waaruit bleek dat de resultaten van een beroemd onderzoek naar social priming van John Bargh, waarbij mensen langzamer liepen nadat ze onbewust waren blootgesteld aan het stereotype van ouderdom, niet gerepliceerd werden.
Het onderzoek van Bargh was een van de experimenten die Kahneman aanhaalde om te onderbouwen dat iemands gedrag onbewust geprimed kan worden. Zo schreef hij in Thinking, Fast and Slow: ‘De resultaten zijn niet verzonnen, nog zijn het statistische toevalligheden. Je hebt geen andere keus dan te accepteren dat de belangrijke conclusies van deze studies waar zijn.’
Kahneman voorzag een ‘looming trainwreck’: de twijfel over de betrouwbaarheid van de resultaten naar social priming zou wel eens grote gevolgen kunnen hebben voor de toch al niet zo’n goede reputatie van de (sociale) psychologie. In een open email aan onderzoekers naar social priming schreef hij dat het onderzoek naar social priming nu ‘the poster child’ was geworden voor twijfels over de integriteit van psychologisch onderzoek. De manier waarop gereageerd zou worden door zijn collega’s zou niet alleen grote gevolgen hebben voor hun onderzoek en reputatie, maar dat van alle sociale psychologen.
Kahneman raadde replicatiestudies aan die de geloofwaardigheid garandeerde voor collega’s buiten het veld. ‘Succes (zeg maar een replicatie van vier van de vijf positive priming resultaten) zou het veld onmiddellijk rehabiliteren,’ schreef Kahneman. ‘Ambigue resultaten zouden natuurlijk pijnlijk zijn, maar ze zouden nog steeds de reputaties beschermen van de wetenschappers die oprecht geloven in hun werk – zelfs als ze soms fout zitten.’
Vijf jaar na de email van Kahneman is het bewijs voor social priming niet gerehabiliteerd. Integendeel, in zeventien replicaties van een klassieke studie naar de facial feedback hypothesis, een vorm van social priming waarbij proefpersonen die hun mond onbewust in een glimlach hielden (door een pen tussen hun tanden te houden) een cartoon grappiger vonden dan wanneer ze onbewust een glimlach onderdrukten (door een pen tussen hun lippen te houden), vond geen verband tussen hoe grappig iemand een cartoon vond en hoe die persoon zijn of haar mond hield. Eric-Jan Wagenmakers, die de replicatiestudie leidde, vertelde over het klassieke onderzoek dat ten grondslag ligt aan social priming: ‘Het lijkt erop dat ze gewoon de experimenten hebben gedaan en daarna de krenten uit de pap hebben gehaald: kijk, een effect!’
De krenten uit de pap halen is wat in wetenschappelijke kringen publicatiebias wordt genoemd. De beslissing om een onderzoek te publiceren op basis van het resultaat – bijvoorbeeld omdat het een theorie bevestigt, terwijl resultaten die een theorie tegenspreken het wetenschappelijke tijdschrift niet halen – zorgt voor een vertekend beeld van een fenomeen als social priming. En dit kan ertoe leiden dat een van de meest gelauwerde wetenschappers er naast zit.
Psychologen achter de website Replicability Index hielden alle studies tegen het licht die Kahneman aanhaalt in zijn hoofdstuk over social priming. Zij stellen dat de lezers sceptisch moeten zijn over de gerapporteerde resultaten en dat ze de opmerking van Kahneman dat ‘je geen keuze hebt dan te accepteren dat de belangrijkste conclusies van deze studies waar zijn’, moeten negeren. ‘Onze analyse leidt tot de tegenovergestelde conclusie. “Je zou geen van de conclusies van deze studies voor waar moeten aannemen.”’
Juist Kahneman had volgens de psychologen alert moeten zijn, omdat hij eerder een paper schreef over onderzoekers die te veel vertrouwden op de resultaten van experimenten bij een onredelijk klein aantal proefpersonen. Deze zogeheten underpowered studies moeten eens in de zoveel tijd een niet-significant resultaat laten zien, ook als de onderzoekshypothese correct is, omdat deze studies niet krachtig genoeg zijn om altijd het effect te detecteren. Maar die niet-significante resultaten ontbreken in de literatuur over social priming, hetgeen op een publicatiebias duidt.
In een commentaar op de bevindingen van de psychologen, gaf Daniel Kahneman zijn fout ruiterlijk toe. ‘Het is duidelijk dat het experimentele bewijs voor de ideeën die ik presenteerde in het hoofdstuk significant zwakker is dan ik geloofde toen ik het schreef. Het was simpelweg een fout: ik wist alles wat ik moest weten om mijn enthousiasme te temperen voor de verrassende en elegante bevindingen die ik citeerde, maar ik heb er niet goed genoeg over nagedacht.’
De auteur schrijft nog steeds te geloven dat gedrag geprimed kan worden, zelfs bij stimuli waarvan de persoon onbewust is. Er is voldoende bewijs dat gedachten onbewust getriggerd kunnen worden, schrijft Kahneman. ‘Ik zie geen reden om een scherpe lijn te trekken tussen het primen van gedachten en het primen van gedrag. Met dit indirecte bewijs kan priming [van gedrag] worden onderbouwd. Maar mijn ideeën over de grootte van de effecten van priming op gedrag zijn veranderd – ze kunnen niet zo groot en robuust zijn als ik in mijn hoofdstuk suggereer.’
