Midsommarläsning: ”Estimating the reproducibility of psychological science”

Winslow Homer

Winslow Homer: ”Artists Sketching in the White Mountains” (1868)

Den här veckan vill jag tipsa om en artikel som fick en hel del uppmärksamhet då den publicerades i Science i augusti 2015. Den är författad av ett stort och spritt forskarkollektiv på 270 personer som tillsammans har försökt replikera hundra tidigare forskningsfynd inom psykologivetenskapen genom att helt enkelt göra om studierna på nytt för att undersöka om resultaten blev desamma som första gången.

Artikelförfattarna går noga igenom olika tänkbara sätt att mäta replikerbarhet, men oavsett vilka måttstockar man väljer är resultaten nedslående. Medan 97 procent av originalstudierna uppnådde signifikanta resultat (p<0,05) uppnådde endast 36 procent av replikationsstudierna signifikans. Den genomsnittliga effektstorleken av fynden i replikationsstudierna var också hälften så stora som i originalstudierna. Detta är helt enkelt olika sätt att säga att man inte på långa vägar kom fram till lika fina resultat när man gjorde om studierna enligt konstens alla regler.

Orsakerna bakom detta kan vara flera. Det är naturligtvis svårt att till punkt och pricka upprepa ett psykologiskt experiment med exakt samma förutsättningar som i originalexperimentet. Även om metodologin är så identisk som möjligt kan det smyga sig in mer eller mindre slumpmässiga faktorer som påverkar utfallet. Artikelförfattarna påpekar att detta gäller både original- och replikationsstudierma. Slutsatsen i artikeln är inte att originalstudierna ”hade fel”; det kan ju istället vara replikationsstudierna som av någon anledning uppnått felaktiga resultat, eller så är båda resultaten felaktiga. Poängen i studien är snarare att man inte kan räkna med att två till det yttre likvärdiga studier per automatik ska komma fram till samma resultat, och att det just därför är viktigt att lovande studieresultat prövas på nytt både en och flera gånger för att fastslå om och under vilka omständigheter de verkligen är giltiga.

Ett problem i detta är att så gott som alla inblandade parter – forskare, anslagsgivare, vetenskapliga tidskrifter – tenderar att premiera nydanande forskning snarare än forskning som syftar till att upprepa tidigare experiment. Många forskare ägnar sig av förklarliga skäl hellre åt nya, innovativa projekt och vetenskapliga tidskrifter vill huvudsakligen publicera nya rön med positiva resultat. Detta så kallade publication bias kan också vara ett skäl till diskrepansen mellan original- och replikationsstudierna i den aktuella artikeln: att originalstudier ofta bara publiceras och uppmärksammas om de har tydliga resultat, medan resultaten av replikationsstudierna här var kända i samtliga fall även om de inte påvisade någon effekt och i vanliga fall kanske aldrig skulle ha publicerats.

Rapporteringen kring studien har framför allt handlat om att det skulle vara genant för den psykologiska forskningen att endast en liten del av resultaten visade sig vara replikerbara. Detta är dock inte alls artikelförfattarnas huvudsakliga poäng. De menar istället att studien syftar till att visa hur forskning faktiskt bör gå till – dvs att replikationsstudier behöver prioriteras högre i forskarvärlden – och att resultaten i studien är vad man kan förvänta sig i ett forskningsklimat som faktiskt fungerar som det ska. Forskning handlar både om att pröva och att ompröva, eller med artikelförfattarnas ord: ”Innovation points out paths that are possible; replication points out paths that are likely; progress relies on both.”

Artikeln finns att läsa här >

Nu tar fredagsartikeltipsen semesterpaus och återkommer i slutet av sommaren!

Mattias Strand, överläkare, Idun/Iris dagvårdsenheter och FoU

Taggad ,

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

%d bloggare gillar detta: