Utvärderingar missar det värdefulla – Forskare på universiteten anpassar sig taktiskt till de olika mätsystemen

Jag tillbringade förra hösten som gästforskare vid ett brittiskt universitet, ett på många sätt förträffligt lärosäte med stark samhällsvetenskaplig forskning. Desto mer beklämmande var det att se hur miljön mals ner av det brittiska systemet för styrning av högre utbildning och forskning – ett system som Sverige närmar sig steg för steg.

Effekterna av marknadsanpassning och införande av New Public Management-inspirerade styrformer är universitetsledningar som utvecklar strategier för att komma högt på rankningslistor, talar om studenter som kunder och satsar stora resurser på marknadsföring för att kunna konkurrera på studentmarknaden. Lärosätena har tvingats expandera på marknadsföringssidan och bygga ut administrationen. De återkommande utvärderingarna gör forskarna pressade och stressade, många tycks utveckla ett slags närsynt tunnelseende (antagligen som överlevnadsstrategi) och få jag samtalade med uttryckte någon arbetsglädje.

Ritualiserade utvärderingar och prestationsbaserade resursallokeringssystem har blivit vardag i många länder, även i Sverige. I takt med att kvalitet och excellens har blivit mantran i forskningspolitiska diskussioner har de också blivit till tomma formler som fylls med olika innehåll i olika lokala kontexter. Kvalitet blir ytterst en produkt av mätinstrumentet – kvalitet är det som mätinstrumentet förmår fånga upp. Och mätinstrumenten skiljer sig stort åt mellan olika länder. Man kan skilja mellan system för utvärdering av forskning som mäter – och premierar – produktion (output), genomslag (impact) eller kvalitet som något som professionen definierar. Prestationsindikatorerna för dessa är högst olika. Varje mätsystem har sina negativa sidoeffekter och resulterar i olika typer av taktiskt beteende och suboptimering av resultatet. Varje mätsystem tenderar nämligen att förvrida det som man avser att mäta eftersom måtten lätt blir styrande snarare än målen.

Den brittiska modellen bygger på granskning utförd av i många fall respekterade kollegor. Ambitionen är att fånga vetenskaplig kvalitet baserad på professionella bedömningar utan att reducera detta till enkla kvantitativa mått. Det brittiska utvärderingssystemet får stora ekonomiska effekter, eftersom hela det statliga anslaget för forskning fördelas utifrån denna modell (förutom de medel som fördelas via forskningsråd). I de skandinaviska länderna är det endast en mindre andel som fördelas på detta vis. Utvärderingsresultaten avgör överlevnad. I Storbritannien har institutioner lagts ner som ett resultat av utvärderingen.

Utvärderingspaneler

The Research Assessment Exercise (RAE) introducerades 1986 för att utvärdera forskningens kvalitet och koncentrera resurserna på den allra bästa forskningen. Den har nyligen ersatts av Research Excellence Framework (REF) som genomförs första gången under 2014. Utvärderingarna har gjorts var tredje till sjunde år av paneler bestående av erkända kollegor inom disciplinen. På basis av utvärderingarna fördelar sedan myndigheten The Higher Education Funding Council forskningsresurserna till lärosätena. Från början allokerades bara 14 procent av resurserna på basis av utvärderingen, men sedan 1992 allokeras hela forskningsbudgeten på detta sätt. Undersökningar visar att medan de kollegiala granskningarna har viss legitimitet inom professionen, så har myndighetens översättning av resultaten till pengar mycket mindre legitimitet bland de forskningsverksamma (se Susan Wright “What counts? The skewing effects of research assessment systems” i Nordisk Pedagogik, nr 1 2009)

I RAE har främst publikationer bedömts, men även akademiskt anseende har beaktats (till exempel prestigefulla uppdrag som redaktörskap för tidskrifter eller bokserier på ansedda förlag). En omdiskuterad nyhet med REF:en är att också ”genomslag” (impact) utanför akademin – ekonomiskt, socialt och för livskvalitet – ska vägas in och premieras: 65 procent tillmäts nu kvaliteten på de vetenskapliga arbetena, 20 procent genomlsga utanför akademin och 15 procent kvaliteten på institutionens akademiska liv med avseende på ”vitalitet” och ”hållbarhet”, allt utifrån panelernas bedömning.

Vid utvärderingen får varje forskare skicka in fyra arbeten. Urvalet görs i en intern granskningsprocess inom institutionen där professorerna får läsa och bedöma vilka arbeten som är starkast. De kollegor som inte har fyra publikationer eller som inte bedöms hålla måttet betraktas som ”icke forskningsaktiva”; deras arbeten skickas inte in och de får i stället ett större undervisningsbeting. Panelerna läser sedan allt som sänts in.

Resursallokeringen baseras på den vikt som tillskrivs arbetena i relation till personaltätheten. Lärosätena graderas på en skala baserad på kvalitet och på en annan skala baserad på hur stor andel av deras personal som bedöms. Universiteten kan välja hur många forskares arbete som ska skickas in för bedömning. Här finns en taktisk avvägning: en institution kan välja att sända in arbeten från färre kollegor, och på så vis rankas högre men förlora i volym, eller att sända in i princip allas arbeten och riskera att förlora i kvalitet men vinna i volym. Toppinstitutionerna får lejonparten av resurserna medan de svagare institutionerna inte får något; de kan därför bespara sig arbetet med att söka och spara in kostnaderna för det.

Brittiska lärosäten har alltmer kommit att likna fotbollsklubbar, med inte bara tabelligor och toppklubbar utan även med transfermarknader med dyra övergångar; ett eller ett par stora namn utifrån anställs till specialvillkor, med ofantliga löner och få åtaganden.

Allokeringssystemet innebär emellertid att även starka forskningsmiljöer riskerar att bli utan (om de inte når upp till toppnivån) då största delen av resurserna går till ”tabelltoppen”. Skiktningen blir sedan självförstärkande eftersom dessa institutioner fortsättningsvis får svårt att konkurrera. Matteuseffekten är inbyggd i systemet: ”Var och en som har, han skall få, och det i överflöd, men den som inte har, från honom skall tas också det han har” (Matteus 25:29). En konsekvens är att uppdelningen mellan undervisningslärosäten och forskningslärosäten institutionaliseras. Också på individnivå skapar systemet en skiktning mellan dem som bara undervisar och dem som nästan bara forskar, vilket riskerar ge undervisningen en svag forskningsanknytning.

Utvärderingssystemet skapar splittring inom institutionerna. Fokus hamnar på det som mäts. Allt intellektuellt och kollegialt arbete mäts inte och mycket betraktas som bortkastat, exempelvis pedagogiskt utvecklingsarbete och höga undervisningsambitioner, kollegiala fora och mångvetenskap. Medarbetare som ägnar sig åt detta kan få se sin stjärna dala och riskerar att bli en ekonomisk belastning för institutionen, eftersom deras insatser inte räknas. För att maximera sitt resultat i utvärderingen kan institutioner lockas att ”klippa av svansen”, det vill säga degradera delar av personalen till icke-forskningsaktiva (se till exempel Susan Wright, citerad ovan).

I stället rekryteras internationella stjärnor för att lyfta utfallet. Brittiska lärosäten har alltmer kommit att likna fotbollsklubbar, med inte bara tabelligor och toppklubbar utan även med transfermarknader med dyra övergångar; ett eller ett par stora namn utifrån anställs till specialvillkor, med ofantliga löner och få åtaganden. Deras bidrag till det intellektuella och kollegiala livet på institutionen är en öppen fråga men de antas rädda utvärderingen. Utvärderingssystemet främjar inte heller samarbete utan i stället konkurrens mellan lärosäten och deras forskare.

Taktisk anpassning

De brittiska lärosätena lägger alltså numera ansenliga resurser på att utveckla strategier för att maximera institutionens prestation och att komma högt i utvärderingen. Konsulter som kan hjälpa lärosäten att höja sig i ligan anlitas och välbetalda “managers” som leder utvärderingsarbetet på lärosätesnivå har utvecklats som ett slags hybrider mellan akademiker och administratörer (se Simon Head “The Grim Threat to British Universities”, New York Review of Books, nr 1 2011). Styrformerna innebär en samtidig byråkratisering av forskningen och ett genomsyrande av marknadstänkande i verksamheten.

På forskarnivå tenderar utvärderingssystemen att leda till taktiskt agerande och suboptimering. Brittiska forskare har pekat på att det uppmuntrar till ”brådmogna” publikationer – alltså för tidigt publicerade arbeten – och uppdelning av resultaten i ett antal publikationer hellre än en samlad avrapportering, det vill säga ytterst till onödig publicering av forskare som tvingas att ”lägga nya ägg” (Keith Thomas, ”Universities under Attack”, London Review of Books, 15 december 2011. Systemet premierar artikelskrivande för topprankade tidskrifter och flera relativt korta böcker snarare än de riktigt ambitiösa monografierna som kan ta ett decennium att författa. Det uppmuntrar forskarna att satsa på det som mäts och avstå från det som inte räknas men också att ta det säkra före det osäkra, det inom discipliner accepterade snarare än det kontroversiella – och potentiellt riktigt originella. Susan Wright diskuterar att det brittiska systemet har befrämjat “normalvetenskap” snarare än “revolutionerande vetenskap” för att använda Kuhns termer; systemet må producera bra forskning i stor kvantitet – men däremot inte banbrytande arbeten. Det är fortsatt amerikanska universitet och inte brittiska som producerar nobelpristagare.

Susan Wright pekar också på att koncentrationen av resurser till några få toppinstitutioner gör det svårt för discipliner att reproducera sig. Ämnet atematik är ett exempel där ett flertal institutioner fått läggas ner med brist på matematiklärare som följd. Systemet främjar också en frånkoppling av undervisning från forskning. De som försöker ägna sig åt såväl forskning, undervisning som populärvetenskap riskerar bara att bli sönderstressade. I den miljö där jag gästforskade fanns det en kollega som tycktes mig deprimerad, och i ett samtal berättade han om det omöjliga i att förena arbetsliv och familjeliv och den rävsax han upplevde att han satt i för tillfället.

Men mitt intryck var att hans kollegor inte såg det som var uppenbart för mig – i det stressiga klimatet prioriterades inte personliga samtal kollegor emellan; de flesta satt bakom stängda dörrar och arbetade eller jobbade hemifrån för att inte störas i sin forskning. Den kollegiala mötesplats som fanns – det livaktiga och välbesökta forskningsseminariet – kunde denne forskare inte delta i eftersom det ägde rum sent på eftermiddagen då han måste hämta barnen. Föräldraledigheter är för övrigt ingen ursäkt för att inte ha producerat fyra arbeten av hög kvalitet, varför systemet särskilt missgynnar kvinnor.

Förutom det personliga priset i form av stress och bristande arbetsglädje är förstås transaktionskostnaderna enorma. I RAE 2008 blev över 50 000 akademiker och deras över 200 000 alster utvärderade av ett stort antal kollegor, sannolikt på bekostnad av deras egen tid för forskning och undervisning. Dessförinnan har dessutom professorerna på institutionen läst och gjort sin bedömning. Det har funnits diskussioner om att gå över till ett billigare system, till exempel baserat på bibliometriska analyser, men hittills har bedömningen varit att en sådan mekanisk syn på kvalitet och dess inbyggda kvantitetsorientering skulle urholka förtroendet bland brittiska forskare för bedömningssystemet.

Situationen i Skandinavien

I de skandinaviska länderna har man valt mindre kostsamma utvärderingssystem som bygger på vad man med Theodore Porter skulle kunna kalla ”mekanisk objektivitet” (i Trust in Numbers, Princeton University Press, 1995). Det svenska systemet för att fördela en (ännu så länge) begränsad del av statsanslaget bygger på externa anslag, publiceringar och citeringar. Det nya danska utvärderings- och resursallokeringssystemet premierar produktion av publikationer (output). Det implementeras genom ett poängsystem utformat enligt den norska modellen, där publikationer rankas i tre nivåer (1-3). Denna norska modell fångar upp bokkapitel och böcker såväl som artiklar och forskarvärlden har visst inflytande över hur olika tidskrifter/förlag värderas.

I poängsystemet kan kvantitet uppväga hög kvalitet. Det kan vara mer strategiskt att inte satsa på de allra bästa tidskrifterna om man riskerar avslag utan på de näst bästa (2-poängtidskrifterna) – eller rent av 1-poängtidskrifterna – om man i stället kan publicera flera artiklar. Eftersom poängsystemet premierar kvantitet kan man med fördel publicera ett flertal artiklar med i stort sett samma innehåll. I artikeln ”An emerging economy of publications and citations” anmärker Staffan Larsson att i poängsystemet spelar det ingen roll om du skriver i stort sett samma sak som alla andra eller om du kommer med något banbrytande: är det publicerat i samma tidskrift har det samma vikt (i Nordisk Pedagogik, nr 1 2009).

Ett annat system för att mäta forskningens kvalitet är genom dess genomslag (impact), i form av citeringar. Här spelar det stor roll om man räknar citeringar i Google scholar (som även fångar upp citeringar i böcker och bokkapitel) eller Web of Science (som bara fångar tidskriftsartiklar); valet blir styrande för publiceringsmönstret. Citeras man många gånger för att man sagt något korkat har det samma betydelse som om man sagt något briljant, eftersom det är antalet citeringar som räknas, konstaterar Staffan Larsson (citerad ovan). Att det finns andra skäl till att forskning inte citeras så mycket än att det är av dålig kvalitet, som språket det skrivs på, valet av studieobjekt, eller geopolitiskt fokus beaktas inte heller. Staffan Larsson konstaterar vidare: Om citeringar räknas, skriv artiklar som är populära bland dina kollegor och du behöver inte skriva många arbeten. Om publiceringar räknas, skriv många arbeten.

Sverige följer Storbritannien?

Oavsett modell producerar systemen både vinnare och förlorare när det gäller språk man skriver på, ansatser, discipliner och institutioner. Utvärderingssystemet bestämmer ytterst vilken typ av forskning som ska och kommer att finnas.

Svenska regeringen har nyligen gett Vetenskapsrådet i uppdrag ”att utreda och lämna förslag till en modell för resursfördelning till universitet och högskolor som innefattar kollegial bedömning av forskningens kvalitet och relevans” (Regeringsbeslut 2013-03-14). Förebilden tycks vara det brittiska systemet och föresatsen att ta hänsyn till ett bredare kvalitetsbegrepp än citeringar och publiceringar. Mest anmärkningsvärd är den betoning som läggs på forskningens ”relevans, nyttiggörande och effekter för samverkan med omgivande samhälle”. Det säger sig självt att sådan direkt påvisbar samhällsnytta är lättare för vissa discipliner och forskningsinriktningar än för andra. Och tänk om den viktigaste forskningen är den som inte efterfrågas av samtiden?

Oavsett mätsystem finns det på sikt en risk för kvalitetserosion (se Staffan Larsson ovan). Forskare skolade i ett tidigare system kan fortsatt förväntas försvara tidigare professionella värden och förhandla och balansera dessa mot de nya kraven. Men nya generationer kommer att anpassa sig till de spelregler som råder och ta dem för naturliga. Nya vanor utvecklas kring hur man ska skriva, var man ska publicera och så vidare. Studier visar att motståndet minskar över tid; nya forskarsubjekt skapas – ”entreprenörskapssjälv” med konkurrensetos som anpassar sig till den nya praktiken och agerar för att maximera sina karriärmöjligheter inom det givna systemet (se den brittiska utbildningsforskaren Susan Wrights arbeten). Detta kan även ses i Sverige där allt fler doktorander övergår till att skriva sammanläggningsavhandlingar i stället för monografier, på engelska snarare än svenska – och de börjar kalkylera och välja tidskrift innan artikeln ens är påbörjad. En företagsattityd till forskningen utvecklas, där produktionsorienteringen är naturlig. Lärosäten såväl i Sverige som i Storbritannien ger ”Publish or perish”-kurser och ”grant factory”-workshops.

Man bör fråga sig vad de inkvisitoriska styrningssystemen gör med våra professionella normer och vårt forskaretos och ytterst: vad gör det med våra själar? Den brist på arbetsglädje och de stressbeteenden jag noterade under min korta sejour i England ser jag också allt oftare bland mina kollegor i Sverige. När hörde du senast en doktorand säga att hon forskar för att det är roligt?

Något större kollektivt motstånd är knappast heller att vänta i ett system där lärosäten konkurrerar med varandra. De individer och miljöer som är vinnare i systemet har inga incitament att förändra det – oavsett dess konsekvenser för det intellektuella livet och den akademiska verksamheten i stort. Man bör också fråga sig hur resursfördelningssystemet påverkar den sociala ojämlikheten: ska bara vissa studenter ha rätt till forskningsförankrad undervisning? Om resursfördelningssystemet innebär att vissa lärosäten slås ut, hur ska då den högre utbildningen tryggas i hela landet och för alla samhällsklasser? I Sverige är de ojämlika konkurrensförutsättningarna redan inbyggda i systemet genom att högskolorna har avsevärt mindre statsanslag per student än universiteten. Ändå låtsas man vid utvärderingarna att alla lärosäten konkurrerar på lika villkor.

Ett grundproblem med utvärderingssamhället (se The Audit Society av Michael Power, Oxford University Press) är att det som mäts lätt blir målet för verksamheten. Risken finns att det enda som görs är det som utvärderas. Målet förskjuts från att skapa en miljö för högkvalitativ akademisk verksamhet till att hamna högt i utvärderingssystemet. Men utan en kollegial miljö där delat ansvar och intellektuella idéutbyten är naturliga inslag kan knappast stark forskning växa och frodas på sikt. Vilka ska skola in den nya generationens toppforskare? De forskare som i dag är starka har ju i många fall utvecklat sina förmågor i ett system där akademisk frihet och självständighet var ledordet. Kan det akademiskt-industriella komplexet verkligen producera sådana forskare?

Publicerad i Respons 2013-3