maandag 19 september 2011

Scientific fraud

As a mathematician and a statistician and a scientist, I must admit that my main reaction to the recent news that the famous Dutch social psychologist Prof. Diederik Stapel, whom I must admit I had never heard of before, had faked the data in many of his publications, was one of Schadenfreude. Especially when he started dragging some of his co-authors in his spectacular fall.






I had quite a long email discussion with Leiden University newspaper editor Bart Braun about the case. His article, which is good I think, appeared in "Mare". The national newspaper "NRC Handelsblad" also published some rather good articles on the issue. Here I am going to quote verbatim one of the best reactions, by statistician Han Oud. Unfortunately (for the moment) this is in Dutch. I'll replace the original by a translation as soon as possible, and add some of my personal observations too.


Archief \ 2011 \ September \ 13 \ Overig \ 14
Fraude is te gemakkelijk in de sociale wetenschappen
 Opinie | Dinsdag 13-09-2011 | Sectie: Overig | Pagina: 14 | Han Oud
De sociale wetenschappen zijn gevoeliger voor fraude dan natuurwetenschap door gebrek aan herhaalbaarheid. Toch is fraude te voorkomen door openbaarmaking van de data, stelt Han Oud.
Het succes van een zeer productieve en hogelijk geprezen Tilburgse hoogleraar, de 'golden boy' van de sociale psychologie, blijkt ten dele gebaseerd op fraude. De rector magnificus van de Tilburgse universiteit bevestigt dat de man op grote schaal gegevens verzonnen heeft. Is hier sprake van een geïsoleerd fenomeen of is er veel meer aan de hand?
Vakgenoten in de sociale wetenschap stellen alles in het werk om de schade tot dit ene geval te beperken. Een collega hoogleraar uit Nijmegen, die zelf aan het gefraudeerde onderzoek deelnam, haastte zich al om te spreken over de omvangrijke misstap van één enkele collega. Een commissie onder voorzitterschap van voormalig KNAW-president Levelt zal de omvang van de fraude door deze ene persoon in kaart brengen. En ook Robbert Dijkgraaf, de huidige KNAW-president, is er als de kippen bij om de brandhaard te isoleren: 'Fraude raakt Stapel, niet de wetenschap' (Volkskrant, 9 sept.)
Fraude blijft uiteraard niet beperkt tot de sociale wetenschappen. Maar de kans op fraude door slordige en oppervlakkige omgang met de data is in de sociale wetenschap vele malen groter dan in de natuurwetenschap. Waarom? Een belangrijke rem op fraude in de natuurwetenschap is de herhaalbaarheid. Herhaalbaarheid is in de sociale wetenschap verwaarloosbaar. Sociaal-wetenschappelijk onderzoek is op steekproeven gebaseerd en iedere steekproef kent zijn eigen afwijkingen met als gevolg dat het uiterst moeilijk is om te bewijzen dat data zijn gemanipuleerd.
Een tweede reden waarom sociale wetenschappers bijna straffeloos de buitenwacht jaren om de tuin leiden is de betrekkelijk kleine omvang van de meeste databestanden en het feit dat zij door de onderzoekers doorgaans als een soort privé-eigendom worden beschouwd. Het is uiterst moeilijk om iemand buiten de eigen onderzoeksgroep en waarmee je niet heel intensief samenwerkt, om inzage te vragen in zijn databestanden. Vanwege de enorme productiedruk is de onmiddellijke reactie bij de betrokkene niet eens zozeer het gevoel gecontroleerd te worden, alswel de vrees dat 'zijn data' gebruikt worden in een publicatie zonder dat hij mede-auteur is.
Wat kan worden gedaan ter verbetering van de situatie? Evenmin als in de natuurwetenschap kan fraude in de sociale wetenschap worden uitgebannen. Dat is mede het gevolg van de enorme behoefte bij de publiciteitsmedia aan onderzoeksresultaten van het kaliber 'Vleeseters zijn hufteriger en egoïstischer dan vegetariërs'. Grote schoonmaak zou echter worden gehouden door de invoering van twee relatief simpele maatregelen.
Ten eerste: de databestanden van alle onderzoeken waarover in de publiciteitsmedia en tijdschriften is gepubliceerd, zijn publiek domein. Bezwaren hiertegen zijn niet te onderbouwen. Wie in het publieke domein wil rapporteren, moet ook de data in het publieke domein ter beschikking stellen. Ten tweede: de gezamenlijke faculteiten sociale wetenschappen stellen een ervaren onderzoeker aan die als taak heeft steekproefsgewijs na te gaan of de resultaten van promotie-onderzoek op de in het proefschrift aangegeven wijze voortkomen uit aanwezige databestanden.
De data worden als een soort privé-eigendom beschouwd
Info: Dr. J.H.L. Oud is als wiskundige verbonden aan het Instituut voor Gedragswetenschappen van de Radboud Universiteit Nijmegen.
Op dit artikel rust auteursrecht van NRC Handelsblad BV, respectievelijk van de oorspronkelijke auteur.