Randomiserede kontrolforsøg - også forkortet som RCT - er på radaren hos flere danske fonde, mener Peter Dahler-Larsen, professor ved Institut for Statskundskab på Københavns Universitet.
”Ideen om RCT har klart bredt sig blandt fondene, men det er ikke en entydig bølge. Det er svært at udtale sig om generelt, fordi det også kommer meget an på, hvem der lige har haft indflydelse i den pågældende fond, og hvad fonden er inspireret af,” siger han.
Den type fonde, som kunne være interesseret i RCT i projektevalueringer, kan eksempelvis være fonde, som har en historie inden for medicinsk forskning, fortæller Peter Dahler-Larsen.
I sidste uge kunne Filantropi berette om metodens udbredelse på det filantropiske felt i USA, hvor den amerikanske professor ved University of Chicago, Nicole P. Marwell, luftede sine betænkeligheder ved den store vægt, som amerikanske bevillingsgivere lægger på RCT-evalueringer.
Betænkeligheder, som Peter Dahler-Larsen godt kan nikke genkendende til, fordi det ligeledes ville være udfordrende for danske fonde, NGO’er og frivillige organisationer at implementere RCT:
”Det er jo et kontrolleret forsøg. Og fordi det er kontrolleret, skal der virkelig være styr på interventionen. Det betyder, at du skal vide, hvem der får den, og på hvilken måde de får den, når den bliver implementeret. Som Marwell (Nicole P. Marwell, red.) også kommer ind på, er det meget ressourcekrævende og svært at have kontrol med kontrolgruppen, når det handler om sociale indsatser,” siger han.
Der findes ikke en ’one size fits all’-løsning, når det handler om evaluering af NGO’ers og frivillige organisationers arbejde. RCT’er i Danmark er snarere undtagelsen end reglen – ikke mindst fordi de er så metodisk vanskelige at etablere
Agnes Günther – ph.d. fra Copenhagen Business School samt medstifter og partner hos rådgivningsvirksomheden Netsocietal
Derudover vil RCT-evaluering af sociale indsatser medføre etiske dilemmaer, mener Agnes Günther, ph.d. fra Copenhagen Business School samt medstifter og partner hos rådgivningsvirksomheden Netsocietal.
”I forhold til RCT er der også tit et etisk dilemma i, hvordan nogle bliver valgt fra i forbindelse med at få en given social indsats, fordi der skal være en kontrolgruppe. Derfor ser jeg det mere forbundet med forskningsmiljøer end med sociale indsatser,” siger hun.
Agnes Günther ser derfor ikke, at RCT-metoden får fodfæste blandt de danske fonde som krav til evaluering af civilsamfundets arbejde:
”Der findes ikke en ’one size fits all’-løsning, når det handler om evaluering af NGO’ers og frivillige organisationers arbejde. RCT’er i Danmark er snarere undtagelsen end reglen – ikke mindst fordi de er så metodisk vanskelige at etablere, for eksempel når der skal findes egnede kontrolgrupper,” siger hun.
For unuanceret
Hvis NGO’ers og frivillige organisationers arbejde skal evalueres, kan RCT hurtigt blive et unuanceret værktøj. Generelt er der også flere fonde, som bevæger sig mere i retning af en forandringsteoretisk tilgang til evaluering, mener Agnes Günther:
”Oftere ser vi kvalitative interviewstudier eller kvantitative opgørelser, for eksempel antal mennesker nået, men der er stor variation i kvalitet og omfang. Helt centralt er, hvad fonden egentlig ønsker at få ud af en evaluering. Et RCT giver ofte et ja/nej-svar på, om noget virker, og mindre indblik i, hvorfor eller hvordan – det afhænger selvfølgelig af designet. Som med andre evalueringsmetoder er designet af evalueringen helt afgørende. Her kan en tydelig teori om forandring være et godt udgangspunkt – og det er også noget, mange fonde allerede arbejder med i ansøgningsprocessen,” siger hun.
Danske fonde har endnu ikke fundet en guldstandard
Agnes Günther peger desuden på, at der kan være en generel udfordring ved at lave for standardiserede evalueringer samt at finde ud af, hvem der skal udføre evalueringen:
”Standardiserede evalueringsrammer kan gøre det svært at afspejle afvigende teorier om forandring eller særlige målemetoder – nogle gange også på grund af tekniske begrænsninger i de rapporteringsværktøjer, der anvendes. Omvendt kan forskelle mellem evalueringsrammer gøre det vanskeligt at sammenligne evalueringer, hvilket kan være vigtigt for porteføljestyringen. Et andet spørgsmål er, hvem der bør stå for evalueringen: fonden, NGO’en eller et samarbejde mellem dem. Der er fordele og ulemper ved begge dele,” siger hun.
Liv Egholm, lektor og ph.d. ved Institut for Humaniora og Jura på CBS, mener heller ikke, at RCT bliver set som en relevant metode blandt de danske fonde:
”Det går den helt modsatte vej i hvert fald hos de fonde, jeg har snakket med. Der er de på vej væk fra de mere firkantede KPI’er. Men fondene er stadig meget opmærksomme på, at der skal være en form for evaluering af, hvad de finansierer. Det er bare svært at måle på social impact, og derfor prøver fondene også en masse forskellige metoder af,” siger hun.
Hvilke konkrete metoder kan hun ikke udtale sig om, fordi det er så omskifteligt.
RCT kan have sin ret
Ifølge Torben Bundgaard Vad, selvstændig konsulent i rådgivningsvirksomheden Bundgaard Vad, kunne RCT dog godt være en mulig evalueringsmetode for fonde herhjemme:
Det kunne helt sikkert være nyttigt også for fondene at arbejde mere med randomiserede kontrollerede forsøg
Torben Bundgaard Vad – Selvstændig konsulent i rådgivningsvirksomheden Bundgaard Vad
”Jeg har været med på evaluerings- og effektmålingsfronten i 20 år. I de seneste år er hverken de danske fonde eller den offentlige sektor så aktive med at evaluere eller måle på, om noget virker, som de var for år tilbage. Spørgsmålet er, om det kommer tilbage, eller om udviklingen inden for AI betyder, at nye metoder vinder indpas. Det kunne helt sikkert være nyttigt også for fondene at arbejde mere med randomiserede kontrollerede forsøg,” siger han.
Torben Bundgaard Vad kan godt forestille sig, at RCT kan anvendes som evalueringsmetode inden for for eksempel sundhedsområdet, uddannelsesområdet og erhvervsområdet.
Han peger eksempelvis på Egmont Fondens støtte til børn og unge gennem en række organisationer som Mødrehjælpen, Røde Kors, Dansk Folkehjælp og Efterskoleforeningen.
Han anerkender dog, at der kan være en stor risiko for bias, når der udføres en RCT, hvilket gør det svært at vurdere, om en indsats skaber en reel effekt.
