Föregående

nummer

Tisdag 27 juni 2017

1/2014

Tema: Synen på Sveriges agerande under andra världskriget har blivit alltmer negativ. Men Sveriges självständighet underskattas.
Utbildning
Gustaf Nelhans
Citeringens praktiker
Det vetenskapliga publicerandet som teori, metod och forskningspolitik
Gidlunds | 390 s | Isbn 9789162887674
Recensent: Stefan Amirell
Citeringar är inget direkt mått på kvalitet

Nelhans synliggör många av problemen med att använda citeringsanalys och andra bibliografiska metoder för att utvärdera forskning. Den borde vara obligatorisk läsning för alla som sysslar med dessa frågor.

Gustaf Nelhans avhandling i vetenskapsteori behandlar ett både viktigt och aktuellt ämne inom vetenskapen i dag, oavsett disciplin: citeringens praktiker. Under de senaste åren har bibliometriska metoder för utvärdering av forskningen stått i fokus för mycket av de forskningspolitiska diskussionerna i såväl Sverige som en rad andra länder. Att mäta citeringar har i det sammanhanget ofta förts fram som ett sätt att utvärdera forskningens kvalitet och betydelse och även kommit att ligga till grund för fördelning av forskningsanslag mellan olika lärosäten och forskare. Från forskningspolitiskt håll har de bibliometriska modellerna ofta setts som ett tydligt och kostnadseffektivt sätt att säkerställa att forskningen håller högsta möjliga kvalitet, inte minst i relation till den internationella forskningsfronten. Samtidigt har kritiken mot metoderna stundtals varit hård från forskarvärlden, inte minst från företrädare för discipliner som tycks missgynnas av modellerna, något som särskilt synes gälla de humanistiska vetenskaperna. Förutom brister i de bibliometriska modellernas och databasernas uppbyggnad har kritikerna påpekat att kvantitativa parametrar, som antalet publikationer eller citeringar, inte säger något om forskningens kvalitet.

De centrala frågor som Nelhans ställer i avhandlingen är om vetenskaplig kvalitet verkligen kan mätas på ett godtagbart sätt genom citeringar, utan att vetenskapen samtidigt reduceras och förvandlas till något som från början inte var avsikten. För att besvara dessa frågor genomför författaren fem avgränsade studier av citeringens vetenskapsteoretiska betydelse, både i det förflutna och i nutid. Den första studien skisserar den vetenskapliga citeringens uppkomst och utveckling sedan 1600-talet, men med fokus på utvecklingen från 1950-talet och framåt. De tre efterföljande studierna baserar sig till stor del på citeringsanalyser genomförda av författaren och behandlar citeringsdebatten i vetenskapsstudier, citeringskulturen och citeringens performativitet samt visuella representationer av citeringspraktiker. Den femte studien är en historiografisk genomgång av de senaste årtiondenas diskussioner om citeringarnas roll inom forskningspolitik och offentlig debatt. Huvudfokus är Sverige, men Nelhans gör även internationella utblickar och jämförelser med andra länder, framför allt Australien och Norge, där citeringar och andra bibliografiska utvärderingsmodeller har fått stort genomslag. I ett avlutande kapitel lyfter Nelhans fram avhandlingens huvudresultat och pekar på flera viktiga implikationer av resultaten för vetenskapens utveckling i framtiden.

En viktig aspekt som Nelhans lyfter fram är skillnaden mellan referens och citering. De två begreppen uppfattas ofta som två sidor av samma sak, men som författaren påpekar, kräver citeringen – som begreppet normalt används i vetenskapsteoretiska och forskningspolitiska sammanhang – både att det finns en referens till det citerade verket och att citeringen registreras i ett citeringsindex. Citeringen är alltså en konstruerad entitet, beroende av olika former av arbete utfört av forskare och andra aktörer, både mänskliga, institutionella och maskinella. För att förstå vad en citering, eller ett citeringsindex, representerar måste hänsyn tas till dessa praktiker och de överväganden och tillkortakommanden som de är behäftade med.

En stor del av bokens första delstudie ägnas åt den utveckling, med början på 1950-talet, som småningom ledde fram till att den internetbaserade tjänsten Thomson Reuters ISI Web of Science – i vilken de i dag viktigaste citeringsdatabaserna, Science Citation Index, Social Science Citation Index och Arts and Humanities Index, ingår – kom att få en dominerande ställning inom citeringsbranschen. Nelhans framställning av denna utveckling är intressant och högst relevant för att förstå dagens fokus på citeringar som vetenskapligt kvalitetsmått, men han hade gärna kunnat inta en mer kritisk hållning till företaget. Inte minst framställs dess grundare, Eugene Garfield, i närmast hagiografiska ordalag; exempelvis inleder Nelhans sitt förord med att tacka honom, och Garfields personliga insats ges överordnad betydelse för utvecklingen av Science Citation Index, medan en av hans tidiga kritiker beskylls för att ha anlagt ett ”i det närmaste ludditiskt” motstånd mot idén om ett citeringsindex. Garfield är också den överlägset mest citerade författaren i Nelhans avhandling med inte mindre än 29 titlar i bibliografin.

Nelhans okritiska hållning mot Web of Science blir särskilt problematisk när han, utan att anföra några belägg för saken, påstår att ”de kommersiella databaserna [däribland Web of Science] har en strikt och öppen kvalitetskontroll som innefattar såväl urval och innehåll”. Sanningen är att besluten om vilka publikationer som ska inkluderas i citeringsdatabaserna fattas genom en icke-transparent process utan öppna och tydliga kriterier, något som givetvis är ett fundamentalt problem när databaserna används för utvärdering av forskningens kvalitet och i sig strider mot grundläggande vetenskaplig metod.

I samband med en av citeringsanalyserna i avhandlingen stötte Nelhans också på texter som på grund av ”slarv eller ofullständighet” var felindexerade i Web of Science, liksom det förhållande att flera citeringar byggde på påstådda referenser som vid närmare påseende visade sig inte existera. Att data med så uppenbara kvalitetsbrister inte kan användas som grund för vetenskapliga undersökningar borde vara självklart, men Nelhans väljer i stället att tona ned problemen – delvis genom att relegera diskussionen till en fotnot – och hävdar, i vad som framstår som ett flagrant ovetenskapligt försök till harmonisering, att urvalet ”[s]ammantaget framstår” som ”relativt väl överensstämmande med det urval som förväntades”.

En intressant, men ofta förbisedd, aspekt av citeringen som författaren på ett förtjänstfullt sätt lyfter fram är målsättningen att den ska tjäna som orientering i en alltmer oöverskådlig flora av vetenskapliga publikationer. Svårigheterna med att överblicka den i omfång exponentiellt ökande forskningen inom i princip alla vetenskapsområden uppmärksammades redan på 1960-talet och var en viktig anledning till citeringsanalysens framväxt. Syftet med att tillhandahålla ett mått på olika publikationers relativa betydelse var alltså ursprungligen att det skulle tjäna som ett verktyg för forskningen och medföra betydande arbetsbesparingar för användarna.

Så långt får citeringsanalysen betraktas som förhållandevis okontroversiell och kanske även som varande av begränsat intresse för de flesta forskare. Detta förhållande ändrades dock radikalt från 1990-talet och framåt, då citeringsanalys och andra bibliografiska verktyg i många länder kom att spela en allt större roll för forskningsutvärdering och fördelning av forskningsresurser, både mellan olika lärosäten, discipliner och enskilda forskare eller grupper av forskare. Denna utveckling sätter Nelhans i relation till det ökade inflytandet för New Public Management i det offentliga samhället i stort och den därmed förknippande framväxten av det som ibland kallas revisorssamhället (eng. audit society).

Den sista av Nelhans delstudier, ”Citeringens forskningspolitik”, summerar på ett strukturerat och överskådligt – om än något deskriptivt – sätt de senaste årens stundtals animerade debatter om bibliometri som verktyg för forskningsutvärdering och resursfördelning i framför allt Australien, Norge och Sverige. Framställningen bygger uteslutande på genomgångar av skriftligt källmaterial, framför allt debattinlägg i medier och offentliga utredningar och rapporter, vilket gör att förståelsen för olika aktörers motiv och intressen emellanåt blir något ytlig. Intervjuer tillsammans med ett mer djuplodande försök att förstå aktörerna utifrån deras position och intressen i sammanhanget hade bidragit till en större förståelse för den förda politikens orsaker och följder.

Så till avhandlingens huvudresultat i relation till de ovan nämnda frågeställningarna. Nelhans kommer, föga förvånande, fram till att citeringar inte kan användas som ett direkt mått på forskningens kvalitet, eftersom antalet citeringar är beroende av en mängd faktorer som inte kan kopplas till kvalitet. Han framhåller till exempel att det finns stora skillnader mellan olika vetenskapsområden i fråga om det som han benämner olika ”refereringspraktiker”. Medan naturvetare tenderar att använda referenser kumulativt, för att bygga vidare på tidigare forskning, använder humanister och samhällsvetare snarare referenser för att ta spjärn emot och kritisera det som tidigare skrivits. Dessa kvalitativa skillnader mellan olika vetenskapsområden är något som i hög grad påverkar utfallet när citeringsanalyser används som forskningspolitiskt instrument.

Ytterligare en viktig slutsats är att införandet av prestationsbaserade modeller i Sverige och andra länder har medfört en likriktning av forskningen då incitamenten att publicera i vissa typer av tidskrifter – framför allt engelskspråkiga peer review-tidskrifter som indexeras i Web of Science – har ökat, medan forskning som av olika skäl inte passar att publiceras i sådana fora i ett slag kom att betraktas som oönskad och behäftad med kvalitetsbrister. Modellerna har också utövat en stark påverkan på forskningens inriktning, med resultatet att den så kallade citeringskulturen i dag ”genomsyrar den vetenskapliga verksamheten på alla nivåer”. Forskare har följaktligen alltmer kommit att välja forskningsproblem, metoder och publiceringskanaler på basis av förväntad prestation snarare än det förväntade bidraget till ny kunskap.

Att det sistnämnda är en högst oroväckande utveckling torde vara uppenbart för såväl forskare som andra intressenter. Gustaf Nelhans avhandling synliggör på ett förtjänstfullt sätt många av problemen med citeringsanalys och andra bibliografiska metoder som verktyg för forskningsutvärdering och borde vara obligatorisk läsning för alla som på ett eller annat sätt arbetar med dessa frågor.

Stefan Amirell är docent i historia och forskare vid Lunds universitet. Hans forskning berör framför allt global och transnationell historia med särskilt fokus på Sydöstasiens i modern tid. Han är även redaktör för Historisk tidskrift.

– Publ. i Respons 1/2014

FÖLJANDE

nummer

DET ÄR DUMT ATT VETA FÖR LITE

I Respons behandlas all viktig facklitteratur på svenska inom humaniora och samhällsvetenskap av recensenter med specialkunskaper i ämnet. I en tid då den fördjupande diskussionen av facklitteraturen tappar mark i offentligheten vill Respons visa hur viktig recensionen är för kunskapsspridningen, kulturen och den allmänna opinionen. Chefredaktör för Respons är Kay Glans.

”Respons behövs” Kaj Schueler, SvD
”… den utmärkta tidskriften Respons” Björn Wiman, DN Kultur
”Recensionerna överträffar vida de som vanligtvis går att läsa i dagstidningarna.” Aftonbladet