Debatt

Utvärdering blir ytvärdering

| Respons 6/2012 | 18 min läsning

Här är en bekymmersam paradox: Delar av den internationella forskningen om utvecklingsfrågor tar rejäla kliv framåt. Men samtidigt tycks allt färre aktörer inom biståndet ha tid eller grundkompetens för att utnyttja de nya och värdefulla rön som forskarna producerar. Så här har det inte alltid varit. Något tycks ha gått snett inom biståndet under senare år som gör att många av våra biståndsarbetare till slut tröttnar och ger upp kallet om att bygga en bättre värld för andra. I våras berättade den kritiskt granskande biståndstidskriften Omvärlden om ”strömhopp” av chefer som lämnar Sida för andra uppdrag. Några gick i öppen protest, andra tycks ha valt att tiga av strategiska skäl. Och att missnöjet med arbetssituationen längre ner i leden under senare år har varit omfattande är ingen hemlighet. I många av debatterna som förts om arbetsklimatet på Sida har biståndsminister Gunilla Carlssons toppstyrning av organisationen och allehanda organisationsförändringar pekats ut som orsak till missnöjet.

Men problemen i Sidas organisation har djupare rötter än så. Långt före Carlsson tog över biståndet ”reformerades” Sida enligt så kallad New Public Management-modeller (NPM). Det innebar en mer hierakiskt och stramt organiserad förvaltningsmodell, marknadsstyrning och ökad betoning på målstyrning för biståndsverksamheten. Även om det för tjugo-trettio år sedan fanns starka skäl för att reformera arbetsprocesserna och se över varför betydande delar av biståndet var ineffektivt, så tycks en överdriven betoning på NPM-modellen i dag ha skapat omfattande negativa effekter. En av de allvarligaste är att våra biståndsarbetare desillusioneras och passiviseras och det är inte förhållandena i de fattiga länderna som skapar den effekten. Det är organisationen av verksamheten på hemmaplan som gör det. Hur blev det så? Och hur bör vi göra i stället? Låt oss börja med det positiva i forskningsutvecklingen om det som förr kallades ”u-landsproblemen.” Där finns nämligen en nyckel till lösning.

För fyrtio år sedan påpekade nationsforskaren Stein Rokkan att studierna av tredje världen var överlastade av teorier men saknade väl genomförda empiriska studier. Den bilden stämmer inte längre. Forskningen om förhållanden i fattiga och konfliktfyllda länder har tagit sig ur underläget. Det av främst två skäl. För det första har forskarna helt enkelt satsat mer kraft och energi på att genomföra större och systematiskt genomförda studier. De som studerar fattiga delar av Östeuropa, Asien, Afrika och Sydamerika har med sig bättre verktygslådor – de är bättre utbildade i forskningsmetoder och i ett flertal länder är det i dag lättare att genomföra empiriska studier än det var för trettio år sedan då förhållandena i världen var betydligt mer ofria. Det andra är att många universitet där utvecklingsrelaterade frågor studeras har blivit mer öppet sinnade teoretiskt. Marxismen utövar inte längre det hegemoniska grepp som den en gång gjorde.

Under de senast tjugo åren har vi kunnat läsa allt fler intressanta och väl genomförda studier om villkoren för demokrati och ekonomisk utveckling (till exempel  Andreas Schedler, Theda Skocpol, Henry Hale, Pippa Norris, Daron Acemoglu, James Robinson, Marc Morjé Howard, Michael Bratton, Nicolas van de Walle), civilsamhällets roll för rättvis och hållbar utveckling (Ellinor Ostrom, Ethan Kapstein, David Dollar, Robert Putnam), betydelsen av civila rättigheter och institutioner (Hernando De Soto och Joseph Luders), politisk tolerans och multikulturalism (Ian Buruma, Juan Linz, Alfred Stepan, Yogendra Yadav, James Gibson, Amanda Gouws) och om hur pålitliga och effektiva system för hälsa, utbildning och mikrokrediter kunnat upprättas i utsatta miljöer (Abhijit Banerjee och Esther Duflo), bara för att nämna några.

De sistnämnda, Banerjee och Duflo, har rört om rejält i bistånds- och forskningsdebatten – särskilt efter att de gav ut boken Poor Economics (Public Affairs, 2011).  Deras förmåga att kombinera kreativa konstruktioner av studier, ett drivet normativt intresse för utvecklingsproblem, djupa lokalkunskaper om de områden som studeras och en enastående förmåga att göra forskningsresultaten lättillgängliga har man sällan tidigare sett motsvarigheten till inom ekonomiområdet. Författarna undviker dessutom att trilla ner i extrema politiska diken som grävts av Jeffrey Sachs (till vänster) och Willliam Easterly (till höger), och de testar ofta rätt förutsättningslöst vilka lösningar som fungerar och inte fungerar i praktiken i länder och områden som är mycket fattiga och där förutsättningarna för människor att förbättra sin livssituation är enormt hårda. Duflo och Banerjee skriver på ett sätt som är entusiasmerande och de väcker naturligtvis relevanta frågor om hur olika slags biståndsinsatser bäst bör genomföras.

Om man vill försöka inleda en diskussion om Poor Economics med kolleger inom biståndet finner man att det tyvärr är få som har läst boken. Och det är samma sak med en hel del andra viktiga bidrag från forskningsfronten. Det här beror inte på att biståndsarbetarna är ointresserade av vad forskningen har att säga. Tvärtom är de frustrerade över att inte kunna upprätthålla sin kompetens och expertis inom sitt område. Problemet är att det inte finns tid och tillräckliga incitament för att kunna följa med vad som händer inom forskningen. Mitt intryck är att kunskapsnivåerna under senare år om vad som bidrar till god samhällsutveckling särskilt i fattiga miljöer har försämrats inom Sida. Varför? Om de inte skaffar sig kompetens om de sakfrågor de arbetar med, vad gör de då på sin arbetstid?

De handlägger så att alla uppdrag och utvärderingar som läggs ut till konsulter ska passa ihop med målstyrningsdokumenten som hela tiden produceras av högre chefer och regeringskansliet. När det kommer till inläsning hinner man bara med det som man enligt organisationens regelverk ska läsa in sig på, och det är mestadels kollegers rapporter och projektbeskrivningar, tunna sammanfattningar som strösslats med jargong, illa genomförda utvärderingar där resultaten givits på förhand och retoriskt uppumpade men sakligt innehållsfattiga styrdokument. Det är uppenbart att Sidas medarbetare får allt mindre tid till att förkovra sig i det som egentligen är verksamhetens kärna, eftersom alltmer tid läggs på administration.

Rötterna till problemet går drygt tjugo år tillbaka i tiden då New Public Management-rastret – med idéer hämtade från marknaden, baserade på principer om målstyrning – började lägga sig över Sidas organisation. Bara en begränsad del av biståndsbudgeten skulle få användas till att ge lön åt Sidas egen personal. Eftersom organisationen skulle liknas vid ett företag med tydligt avgränsade funktionella enheter antog man att de som var direkt anställda av Sida och som arbetade med biståndsprojekt skulle klassas som ”byråkrater” – fastän många av Sida-arbetarna i verkligheten var mycket komptenta biståndsexperter. Den egna personalen skulle i princip bara användas för att se till att pengar slussades ut till biståndsprojekt, som skulle drivas i privat regi eller av frivilligorganisationer, för då skulle ju marknaden sålla fram vem som var bäst . Därför fick Sida inte längre själv bygga sin egen verksamhet i fält. Sidas roll blev enbart att fokusera på att producera resultat som skulle köpas som tjänster från företag och andra organisationer. Därmed kom Sidas egen alltmer fåtaliga personal bara att hinna med ”byråkratin” då de så effektivt som möjligt skulle spendera de ständigt växande biståndsmiljarderna. Och ”effektivitet” definierades som ”förmåga att göra av med pengarna”.

Ett positivt utfall av reformerna var att biståndsprojekten allt oftare kom att drivas av organisationer i mottagarländerna, särskilt av frivilligorganisationer. Att föra över ”ägarskapet” för biståndsprojekt är i många fall en mycket god idé. Det motiverar personalen som driver projekten, det kan skapa ansvarstagande strukturer och öppnar för lärande i flera riktningar. Men det är inte alltid en god idé att lämna över ansvaret för biståndsprojekt till aktörer i mottagarländerna. Ibland saknas lokal kompetens och kraft för att driva projekt på egen hand. Och eftersom Sida själv inte kan driva sina projekt vänder man sig i sådana fall till både svenska och internationella konsulter och organisationer. I den branschen finns det rätt många som tidigare jobbat inom statliga biståndsorganisationer men som har blivit ”frifräsare” då NPM-reformer i fler länder än Sverige slängt ut de egna experterna från de statliga biståndsorganisationerna.

Men ”frisfräsarna” fick det inte heller så lätt. De upptäckte snart att konkurrensen om biståndsmiljonerna var hård och att konsultföretagen har en enorm press på sig att sänka kostnader, dels för att själva kunna göra vinst på biståndet, dels för att Sida handlar upp sina uppdrag från lägstbjudande aktör. Kvalitetskriterier får sällan fälla avgörandet eftersom Lagen om offentlig upphandling är stöpt enligt NPM-normer och kräver att våra myndigheter bara får gå på prislappen då tjänster ska köpas. Så många frifräsares förhoppningar om att själva få utvecklas som biståndsexperter har kommit på skam till följd av kraven på vinst i en bransch där det ofta är små vinstmarginaler. Drömmen om att äntligen kunna göra långa djupstudier i fält blev i verkligheten många korta uppdrag och mycket tid i väntan på flygpterminaler. Men enligt NPM-modellen är det helt ok att det blir på det sättet.

Om konsulter och andra organisationer än Sida kan definieras som att de utför biståndsarbetet, och så länge de som sitter i Stockholm i Sidas lokaler i all högre utsträckning kan definieras som administratörer, kan man lättare – i de ekonomiska redovisningarna i alla fall – skapa intrycket av att förvaltningskostnaderna är låga och att man därmed får ut ”mer bistånd per krona”. Men så är det ju inte. Man har  bara flyttat kostnaden samtidigt som kostnaderna för administration faktiskt kan öka. Men det gör inget så länge den kostnaden inte  ökar för just Sida. Men blir det bättre bistånd då? Troligtvis inte. I längden innebär denna modell en utarmning av förutsättningarna för långsiktigt hållbart bistånd i svåra miljöer, dels därför att insatserna i mottagarländerna förlorar i kontinuitet om ansvar bollas mellan för många konsulter eller utvecklingsorganisationer utanför Sidas regi, dels därför att den egna organisationen – Sida – tappar sina kunskaper. Mellan skål och vägg säger många Sida-arbetare och deras konsulter att det alltför ofta förhåller sig så, men det tycks inte komma fram i alla utvärderingar som görs. Det beror på att de som införde reformerna för länge sedan tappat intresset för biståndets kvalitet i verkligheten.

När utvärderingar (eller ”ytvärderingar” som en handläggare skämtsamt kallade verksamheten) riggas enligt NPM-systemets normer blir rigorösa och vetenskapligt grundade utvärderingar av biståndets effekter i verkligheten inte det man siktar på. I stället framhålls kriterier såsom budget i balans, att man har handlat till lägsta prislapp, att man inte lagt för mycket pengar på administrativa kostnader och att man följt projektplanen som det mest centrala. Eftersom biståndsverksamheten till sin natur är svår att utvärdera – om man talar om effekter på människors levnadsvillkor – har man infört en tradition som går ut på att målstyrningen får relatera till väldigt oklara målformuleringar. Så när man ytvärderar tittar man bara på om de luddiga målen passar ihop med luddiga utvärderingskriterier och då kan NPM-systemet nästan alltid visa upp ”goda resultat”. Visst ska böckerna vara i balans och upphandlingarna transparenta, men det primära är ju att vi levererar ett bistånd av god kvalitet.

Emellertid har systemet skapat andra, rent perversa effekter. Reformerna satte nämligen inga begränsningar för hur stor andel av biståndet som fick gå tillbaka till svenska aktörer. Därmed blev också svenska företag, svenska frivilligorganisationer och svenska såväl som internationella konsulter betydande avnämare av svenskt bistånd. Det har gått så långt att biståndet pumpas tillbaka till svenska kommuner i form av mängder av små biståndsprojekt (som alltså läggs ut på kommunerna!) och som ett slags förtäckt regionalstöd till exempel till Gotland, Karlstad, och Härnösand. Möjligtvis är det ännu värre ställt med en del av de svenska företag som gör pengar på biståndet. I bokföringen ser det ut som att Sverige har ett enormt bistånd till Pakistan – en halv svensk biståndsbudget under ett år såg det ut som för några år sedan. Men granskar man siffrorna så upptäcker man att ”stödet” till Pakistan nästan uteslutande handlar om exportkrediter för militära produkter från svenska företag (i det fallet Saab och Ericsson). Det finns många fler exempel av det slaget tyvärr.

Samtidigt som alltmer av vårt bistånd började återvända till Sverige förvandlades Sida-arbetarna mer och mer till byråkrater, eller ”handläggare”. De kom alltmer sällan att få arbeta med just… bistånd. Beställarkompetensen har därför urholkats, vilket är helt förödande för biståndet och för många Sida-arbetares självkänsla. Jag har själv följt flera av dessa tjänstemän i deras karriärer. Många av dem kommer till Uppsala för att läsa statsvetenskap eller utvecklingsstudier. Ofta gör de praktik i ett utvecklingsland, samtidigt som de engagerar sig i debatter och frivilligorganisationer. Går studierna bra hamnar några som är riktigt duktiga på Sida. De är då oerhört motiverade och drivs av ett kall. Men alltför ofta blir dessa unga löften snabbt desillusionerade då de får uppleva att de får för lite nytta av det de lärt sig om utvecklingsfrågor. Merparten av arbetstiden går nämligen åt till att handlägga i ordets mest byråkratiska betydelse. Vardagen består mest av att hantera kontrakt och uppdrag åt andra. Med tanke på hur Sida i dag är organiserat borde universitetetsutbildningen för dem som ska söka sig till Sida mest inriktas på svenska förvaltningsstudier. För det är mest svensk förvaltning som dessa unga löften kommer att komma i kontakt med. Inte är det den i Zambia.

Denna korta sammanfattning om NPM-problemen inom svenskt bistånd, särskilt Sida, rymmer ingen enkel lösning för framtiden. Den politiska enigheten om NPM:s fördelar är kompakt, men man bör ändå våga sig på att konkretisera vad ett alternativ till modellen skulle kunna innebära.

Till att börja med bör man ändra grundsynen på Sidas verksamhet. Även om marknaden har mycket att lära oss om vad som bidrar till utveckling i verkligheten, bör man inte därför behandla Sida självt som en marknadsaktör eller ett vinstdrivande företag. Verksamheten går ut på att söka nya vägar till hållbar utveckling för människor i andra länder. Förändringar i rätt riktning borde gå ut på att skapa möjligheter för Sidas anställda att ta sig an utvecklingsproblemen med den inställning som präglar Duflo och Banerjee när de bedriver sin forskning –med nyfikenhet, högt satta ambitionsnivåer, genom fantasifulla men strikt metoddrivna undersökningar och utifrån den grundläggande insikten om att olika förslag på lösningar måste kunna testas och få misslyckas innan man hittar ett sätt att arbeta på som passar in i en unik miljös förutsättningar. Men då måste Sida kunna bedriva en verksamhet som grundar sig på att man har egna experter som regelbundet får arbeta nära olika slags biståndsprojekt, och deras effektivitet kan oftast inte mätas på kort sikt.

Således är det ett minimikrav att Sidas personal själva ska få jobba så mycket med biståndsprojekt att de kan upprätthålla en grundläggande beställarkompetens. Hur ska Sida kunna upphandla goda och väl utförda konsulttjänster om man inte själva vet hur sådana ser ut? Därför måste Sida kunna driva större biståndsprojekt i egen regi med egen personal i fält under längre perioder. I dag är det den motsatta trenden som dominerar. Allt färre av Sidas medarbetare kommer ut i fält. Att vända trenden kommer givetvis att kosta. Och då finns det två ställen där man kan spara.

För det första kan vi minska andelen av medlen som återbetalas till svenska kommuner och svenska företag. För det andra kan villkoren för Sidas personal i fält göras om. Om fler av Sidas medarbetare ska skickas ut under längre perioder är det knappast rimligt att behålla dagens system där varje biståndsarbetare flyttar med sig ett eget litet universum av speciella förmåner när hon eller han ska arbetas utomlands. De få poster som i dag finns att besätta i andra länder innebär i vissa avseenden en vinstlott. Uppdragen som främst är utlagda på biståndsambassaderna roterar mellan Sidas anställda och är lukrativa. Den som får tjänst utomlands får löneförmåner och kan ta med sig en hel familj. Även om arbetsbördan på biståndspersonalen utomlands är mycket hög så är livet i biståndsenklaverna med barnpassning, kock och chaufför i flera avseenden mycket enklare än i hemma Sverige.

Några av dessa privilegier skulle kunna offras. Man skulle helt enkelt kunna låta biståndsarbetarna, när de tjänstgör utomlands, bara jobba för sin vanliga hemmalön och kanske en fri hemresa per år. Vill man ha med sin partner och små barn så får man själv betala för vad det kostar. Svenska löner räcker långt i utvecklingsländer. Och biståndsarbetarna skulle i normalfallet bosätta sig där utvecklingsprojekten är lokaliserade – alltså på andra platser än där ambassaderna finns. Gissningsvis skulle bara en sådan reform i sig skapa ekonomiskt utrymme för att tredubbla arbetsstyrkorna i fält. När jag talat med kolleger inom biståndet hävdas det reflexmässigt att dagens förmåner för utlandstjänstgöring är en nödvändighet för att få de bästa till de svåraste jobben. Men jag tror ändå fördelarna skulle överväga. Min uppfattning är att det finns tillräckligt komptenta Sida-arbetare som hellre skulle vilja jobba i närkontakt med biståndet utan ”perks” än att man inte alls får jobba direkt med biståndsprojekt. Det är kanske inte lämpligt att tänka sig sådan utlandstjänstgöring i den period i livet när barnen är små. Men då får man göra något annat. På det här sättet kan man även bryta tendensen att det bildas bistånds/diplomatenklaver i mottagarländerna. Skulle biståndsarbetarna bo nära projekten skulle de säkerligen åtnjuta högre respekt av sina kolleger i mottagarländerna.

För att återupprätta professionalismen inom svenskt bistånd måste alltså fler av dem som är handläggare i dag mer ut i fält. En god meritering där ska kunna leda till titeln expert. Att en sådan dessutom har skrivit en tvåårsmasteruppsats eller disputerat bör vara ett grundkrav. Nyckeln till att förändra biståndsprofessionens villkor avslöjas faktiskt i Poor Economics. Den visar inte bara vad som förändrar situationen i fattiga länder till det bättre. Den visar även vad vi utvecklingsforskare och biståndsarbetare bör göra mer. Likt Duflo och Banerjee är det oerhört viktigt att få mycket smuts under naglarna och goda kunskaper om teori och metod. Fördjupad förståelse uppstår genom att ta del av forskningsresultat och göra egna erfarenheterna om vad som fungerar i verkligheten. Ett första steg för att komma dit är hacka loss en sten ur NPM-muren. Den står nämligen i vägen.


Sten Widmalm

Sten Widmalm är professor i statskunskap vid Uppsala universitet. Han medverkar regelbundet i svensk debatt i politik- och forskningsfrågor i bland annat Dagens Nyheter, Svenska Dagbladet, Sydsvenskan och – såklart – i Respons. För närvarande ansvarar han för två forskningsprojekt: TOLEDO-projektet som handlar om politisk tolerans och som beskrivs i den nyutkomna boken Political Tolerance in the Global South – Images from India, Pakistan and Uganda, och Persona-projektet, som handlar om krishantering i EU. Dessutom har Sten Widmalm, tillsammans med Peter Oscarsson, gjort en fotoutställning med namnet ”Images of the Global South”. Läs alla texter

Ur samma nummer

Mest lästa artiklar

  1. Klassikern
    Tröstlös pessimist, moralist och sann manierist
    Tacitus (cirka 55–120 e. Kr.) skildrade den tid när det kejserliga...
  2. I Fokus | Sverige under kriget
    Något har gått snett i den svenska synen på andra världskriget
    Synen på den svenska samlingsregeringens agerande mot Nazityskland har de senaste...
  3. I Fokus | Integrationsdebatt
    De integrationspolitiska utredningarna som kulturkrig
    Invandring och integration har blivit så laddade frågor att många forskare...
  4. Analys/Reportage
    Varför vänstern har så svårt att se antisemitism hos invandrargrupper
    Myten om global judisk makt är antisemitismens kärna. I Sverige har...
  5. I Fokus | Meningslös och menlös forskning
    Refuserad på grund av hudfärg
    Vilka risker finns det när den sociala och politiska aktivismen blir...