Den kvantitativa bedömningsgrunden av forskning leder till publiceringsinflation. Effekterna blir orättvisa och i förlängningen skadliga för forskningsverksamheten. Särskilt humaniora är drabbat eftersom kritiska texteditioner, översättningar eller svenskspråkiga studier ofta saknar vetenskapligt värde enligt detta system, skriver Barbro Wallgren Hemlin, lektor i svenska vid Göteborgs universitet.
”Det kom liksom smygande runt millennieskiftet och plötsligt var mycket av det man hade gjort inget värt. Det jag undrade var: Vem bestämde det? Vem bestämde att ett som vanligt lysande festskriftsbidrag av Ulf Teleman skulle ha noll poäng?”
Det en kollega till mig talar om är några konsekvenser av ledningsmodellen New Public Management (NPM), som introducerades vid svenska universitet på 1990-talet. NPM innebär i korthet att även offentlig verksamhet ska marknadsanpassas och kurrensutsättas (se Respons 4/2016). Den ska dokumenteras, utvärderas och kvalitetssäkras och för att detta ska kunna göras måste verksamheten kvantifieras. Av denna anledning lever svenska forskare i dag i en bibliometrisk värld. Det som görs ska kunna räknas och poängsättas, och det som inte kan räknas – det räknas inte.
Det som görs ska kunna räknas och poängsättas, och det som inte kan räknas – det räknas inte.
Vilka blir då följderna när man låter en så komplex verksamhet som forskning värderas utifrån kvantitativa mått? Ja, de kan bli mycket allvarliga, såsom i fallet Macchiarini. Publiceringshetsen och prestationskraven har lyfts fram som medskyldiga till den tragedin, bland annat av medicinprofessorn Johan Frostegård. Han beskriver i DN (19/2 2016) hur prestationspoängen ”beräknas med algoritmer, alltså en maskin, där en viktig faktor är hur högt rankade tidskrifterna där man publicerar sig är, samt hur ofta ens artiklar citeras”. Men även då konsekvenserna inte blir så ödesdigra som i Macchiarinifallet kan de vara allvarliga och de bibliometriskt grundade bedömningsmodellerna utsätts i dag för kritik från många håll. Effekterna av dem blir, vilket framgår av min kollegas reaktion, ofta märkliga, orättvisa och i förlängningen till och med skadliga både för forskningsverksamheten i stort och den enskilda forskaren:
- systemet verkar retroaktivt och forskare som tidigare var välmeriterade blev plötsligt mindre meriterade.
- en stor del av de kvalificerade forskningsalster som publiceras räknas inte som forskning och ger inga poäng.
Vad som ger och inte ger poäng är en av de frågor som diskuteras nedan, där det ges er exempel på allvarliga följder av bedömningsmodellerna både för forskningen i stort och för den individuella forskaren. I fokus för framställningen finns humanistisk forskning. Men först ett par exempel på hur forskare inom området ser på bedömningsmodellerna och NPM-tänkandet i forskningsvärlden.
I en rapport från Borås högskola, Resursfördelningsmodeller på bibliometrisk grund vid ett urval av svenska lärosäten (2015), går Gustaf Nelhans och Pieta Eklund systematiskt igenom de bibliometriskt grundade resursfördelningsmodeller som används vid svenska universitet och högskolor. Att värdera forskning utifrån sådana modeller är, menar de, ofta till men både för den som utvärderas (forskaren) och den som utvärderar (lednings- och styrningsfunktionerna). Forskaren försöker ”maximera sin prestation i den bibliometriska modellen som därmed blir performativ”, medan stöd- och ledningsfunktionerna ofta hamnar i ”en kontrollerande revisorsfunktion”. Risken finns att systemet blir styrande i stället för de styrande, det vill säga att forskning anpassas för att passa systemet och ge gott utfall enligt de parametrar som används. På så vis blir systemen rentav ett hot mot forskningens frihet.
Även kommunikationsforskarna Per Ledin och David Machin ser problem med det kvantitativa sättet att värdera forskningen. I en artikel i Språk och stil 2015, ”Universitetet som en multimodal marknadsplats – Designen av en nyliberal managementdiskurs”, studerar de hur NPM-språket (språket som bär NMP-modellen och som de ord jag kursiverat i inledningen är en del av) styr forskningsverksamheten. De visar hur språket ”tränger in i vardagsarbetet, i forskning och undervisning” och reducerar komplex och mångfacetterad forskning till siffror, uträknade enligt särskilda utvalda index och presenterade i tabeller. Det är publiceringar och citeringar via ett begränsat antal utvalda kanaler som räknas. Och det ska publiceras mycket. Av den enskilda forskaren syns nästan ingenting och viktiga delar av forskningsverksamheten som att ”göra fältarbete, läsa in sig på teori, ta en paus när man kört fast, ligger utanför systemets logik och kan inte räknas som aktiviteter”.
Ledin och Machin lyfter alltså fram publiceringsfixeringen. Det ska publiceras mycket och forskares verksamhet värderas utifrån mängden publikationer. Dessutom ska det helst publiceras i kanaler som ger poäng. Hög publiceringspoäng ger i viss mån utdelning på institutionsnivå tack vare högre fakultetsanslag, men också på individnivå, exempelvis vid löneförhandlingar. Hellre många små publikationer, än färre mera omfattande. Och mycket hellre ofta än mera sällan. Nelhans och Eklund noterar i sin rapport att detta synsätt kan leda till publiceringsinflation, där forskare i sin iver att uppfylla systemets krav massproducerar artiklar enligt principen om minsta publiceringsbara enhet, vilket bidrar till en snuttifiering av forskningsresultaten. En annan effekt, som den som någon gång varit sakkunnig känner till, är att man som forskare lockas att publicera samma innehåll era gånger med små variationer. Dessutom tar det tid att skriva artiklar och effektiviteten i forskningen riskerar alltså bli sämre. På individplanet blir följden inte sällan ökad stress, med fysisk och psykisk ohälsa som följd.
Intressant är också att titta närmare på vad som ger poäng enligt de bibliometriska modellerna. En sådan är den så kalllade norska modellen, som bland annat används av flera fakulteter vid Göteborgs universitet och som baserar sig enbart på publikationer, vilka ges poäng efter publiceringskanal och nivå. (För andra fakulteter vid Göteborgs universitet är det i stället antalet citeringar i engelskspråkiga facktidskrifter som gäller).
Det som värderas i den norska modellen är endast vetenskapliga publikationer. Allt som faller utanför den definitionen ger alltså noll poäng. Det gäller till exempel alla populärvetenskapliga publikationer och all medverkan i dagspress och andra kanaler som vänder sig till samhället. Detta är märkligt med tanke på universitets och högskolors samverkansuppdrag. Det gäller också läroböcker. Vetenskapliga publikationer som ges ut via fel kanal, till exempel ett förlag som inte har kvalat in bland de godkända, ges heller inga poäng (att de inte gör det beror vanligen på att det saknas extern granskningsprocess). Det betyder att en doktorsavhandling som ges ut inom Göteborgs Acta-serie (med två undantag, Gothenburg Studies in Conservation och Gothenburg Studies in Educational Sciences) inte ger några poäng, medan en som ges ut på bokförlagen Nya Doxa eller Daidalos gör det. Alla de avhandlingar som ges ut i min egen institutions skriftserie Göteborgsstudier i nordisk språkvetenskap blir poänglösa, eftersom serien inte finns med bland de godkända publiceringskanalerna. Avhandlingar som är en stor del av den forskning som bedrivs på en institution riskerar alltså att inte komma med i de siffror som anger forskningsaktivitet. En annan typ av vetenskapliga publikationer som inte räknas är festskriftsartiklar, trots att dessa i de allra flesta fall är mycket väl genomarbetade vetenskapliga alster.
Men även andra typer av kvalificerad forskning faller utanför systemet. Det gäller kritiska vetenskapliga textutgåvor som aldrig kan ge poäng enligt den norska modellen, till exempel mitt eget mångåriga arbete med utgivning av Tegnérs kyrkliga tal. Att kritiska editioner inte räknas som vetenskap är naturligtvis mycket märkligt, eftersom arbetet med dem kan liknas vid naturvetenskapens grundforskning. De systematiskt och med vetenskapligt stringent metod framtagna editionerna kommer under lång tid att ligga till grund för kommande forskning inom olika vetenskapsfält. Ett annat exempel på kvalificerat vetenskapligt arbete som inte räknas är översättningar av klassiska verk från latin eller grekiska.
Ett annat exempel på kvalificerat vetenskapligt arbete som inte räknas är översättningar av klassiska verk från latin eller grekiska.
Om man tar steget ut från just den norska modellen och ser hur bibliometrisk information används vid Örebro universitet erbjuder Ledins och Machins artikel om NPM-språket ett intressant exempel. Den har nämligen med deras egna ord ”noll kvalitet”, det vill säga den interna resursfördelningsmodellen (vid Institutionen för humaniora, utbildnings- och samhällsvetenskap) tilldelar artikeln noll kronor, eftersom den är skriven på svenska. Om den däremot hade varit skriven på engelska och publicerad i en internationell tidskrift hade författarna fått 12 000 kronor var. I Örebro har värderingssystemet alltså förts ner på individnivå och professorer och ämnesföreträdare får sig varje år tillsända listor där forskares poäng och individuella publiceringspoäng framgår. Kravet på publicering på engelska och i internationella tidskrifter slår mycket hårt mot vissa ämnen, som litteraturvetenskap, där en stor del av forskningen görs på svenskspråkigt material och publiceras på svenska för en svenskspråkig läsekrets.
Systemet och synsättet påverkar i förlängningen även vilken typ av forskning som alls blir gjord. Om man som forskare vill komma snabbt uppåt i både karriär och löneläge gäller det att inte ge sig in på stora forskningsuppgifter med låg publiceringstakt och som kanske inte kommer att räknas ens när de väl blir färdiga. Forskning som riskerar att inte bli gjord är bland annat den typ av arbeten som nämndes ovan, större kritiska texteditioner och krävande översättningar av äldre texter. Under många år plöjs tusentals timmar ner i arbetet men forskningsinsatsen är inte kvantifierbar – och då räknas den inte. Och när editionen eller översättningen väl blir färdig – så räknas den inte heller, såvitt den inte bryts ut i små enheter och publiceras som artiklar via rätt kanaler.
Men det är det tidskrävande, stora arbetet som blir bestående. Långt efter att artiklarna är glömda och begravda (och så även forskarna som skrev dem) kommer helheten – de omfattande verken – att stå på bibliotekens referenshyllor. Och de kommer fortfarande att användas.
Barbro Wallgren Hemlin är lektor i svenska vid Göteborgs universitet.
Enkla kvalitetsmått kväver tanken
Bakom de utvärderingsmetoder som dominerar den akademiska världen i dag finns föreställningen att kvalitet drivs fram genom konkurrens, men det finns ingen garanti för att de överlevare som sållas fram...
