Påskläsning: ”The Metric Tide: Report on the Independent Review of the Role of Metrics in Research Assessment and Management”

Félix Vallotton: Stranden vid Honfleur

Olika typer av kvantitativa mått har blivit allt viktigare för uppföljning och utvärdering inom forskarvärlden de senaste decennierna, av förståeliga skäl. Universitet och forskningsinstitut vill veta att deras forskargrupper når resultat, forskare vill på ett enkelt sätt kunna visa att deras arbete har betydelse och når ut till andra, och finansiärer vill se att de pengar de lägger på forskning används på ett effektivt sätt. Till viss del används uppföljningsmått också av prestigeskäl: forskare vars artiklar ofta blir citerade och hänvisade till pekar naturligtvis gärna på detta då de söker forskningsmedel, universitet som rankas högt i olika tabeller använder detta för att locka studenter och medarbetare osv. Denna utveckling är på många sätt positiv. Vi har alla intresse av att allmänna forskningsmedel använts på ett klokt sätt, och det enda sättet att säkerställa detta är att följa upp och jämföra resultat på ett så objektivt sätt som möjligt. Objektiva mått kan också i bästa fall motverka tendenser till jäv och ojämlikhet inom forskarvärlden, för att förhindra att beslut om finansiering, befordran etc blir en fråga om löst tyckande där nätverk och namnkunnighet blir viktigare än faktisk kvalitet.

Samtidigt finns det uppenbara nackdelar med den växande fixeringen vid kvantitativa uppföljningsmått. Veckans lästips är en brittisk rapport från 2015 där man tar upp för- och nackdelar med vad man beskriver som en tidvattenvåg av prestationsmått som sköljer över forskarvärlden. En central fråga är just svårigheterna i att finna objektiva mått som på ett bra sätt beskriver kvalitet och betydelse av forskningsresultat. Ett vanligt mått är att titta på hur ofta en viss forskningsartikel citeras, men artiklar citeras inte enbart för att resultaten är viktiga utan också för att de är kontroversiella och i vissa fall rentav för att de är felaktiga. Det är också vanligt att mått används för annat än vad de ursprungligen varit avsedda för. Ett exempel på detta är den betydelse som forskningstidskrifters så kallade ”impact factor” har fått. En tidskrifts impact factor är ett försök att fånga hur inflytelserik den forskning som tidskriften presenterar är, genom att man kvantifierar hur ofta tidskriften har citerats i andra tidskrifter. De mest prestigefyllda tidskrifterna har vanligtvis en hög impact factor. Denna impact factor är dock ett slags genomsnittsmått och säger egentligen inte särskilt mycket om kvaliteten på enskilda artiklar i tidskriften. Tyvärr förekommer det ganska ofta att universitet sedan använder siffror på genomsnittlig impact factor för de tidskrifter där den egna forskningen har publicerats som ett mått på hur bra universitet är. I vissa fall avråds t o m forskare från att publicera sin forskning i tidskrifter med lägre impact factor än detta, för att inte bidra till att sänka universitetets genomsnittssiffra. Här har man plötsligt kommit ganska många steg bort från det som måttet ursprungligen var avsett att mäta. Att det råder olika publikationskultur inom olika forskningsfält gör det också svårt att finna enstaka universella mått. Inom cellbiologi och medicin citerar man varandra till höger och vänster och de högst rankade tidskrifterna har jättehög impact factor; inom matematisk forskning citerar man inte alls i samma utsträckning och de bästa tidskrifterna har en impact factor som inom medicinvärlden skulle ses som ganska medelmåttig. Inom humaniora och delar av samhällsvetenskapen skriver man kanske inte alls artiklar utan publicerar ett fåtal större verk, och hur ska man då jämföra tio forskningsartiklar på ett år med en bok var tredje år?

Man kan här också påminna om docent Lena Lindgrens bok Utvärderingsmonstret: Kvalitets- och resultatmätning i den offentliga sektorn som pekar på hur det på senare år har blivit något av ett mantra att verksamheter ska utvärdera sig själva med stort engagemang. Det finns dock dessvärre sällan någon som faktiskt har tänkt igenom vad alla dessa utfallsmått ska användas till. Inte sällan görs utvärderingar mest för att det är något man ”ska” göra och samlar sedan damm i någon låda (eller i en Excel-fil) utan att fylla någon riktig funktion. Här blir det också ofrånkomligen en kostnadsfråga: någon måste administrera insamlingen av mått och om dessa sedan inte används till någonting konkret har man både slösat på resurser och gjort någons arbetsinsatser meningslösa.

Rapporten lyfter dessa frågor på ett i mitt tycke konstruktivt vis och kommer slutligen med en lång rad tänkvärda rekommendationer för att kunna dra nytta av de goda sidorna av prestationsuppföljning utan att ge nackdelarna alltför stort spelrum. Ni hittar rapporten här >

Mattias Strand, överläkare, IDUN/IRIS dagvårdsenheter och FoU-enheten

Taggad ,

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

%d bloggare gillar detta: