RCT som metode til evaluering af sociale indsatser har vundet stort indpas i USA. Både blandt NGO'er, hos fonde og statslige puljer. Og det er problematisk.
Det påpeger Nicole P. Marwell, der er professor og fakultetsdirektør ved Social Work, Policy and Practice ved University of Chicago:
”Det er et problem, at de fleste nonprofit-organisationer overvejer, om de kan gennemføre et RCT, fordi de føler et pres for, at det er den eneste form for evaluering, der tæller, og at deres bevillingsgivere ønsker netop denne type evidens. Det lægger et stort pres på civilsamfundets organisationer for at engagere sig i denne evalueringsform – også selvom de slet ikke er særlig velegnede til det,” siger Nicole P. Marwell.
Randomiserede kontrolforsøg har sine rødder som metode til at teste ny medicin. Når for eksempel der skal testes, om en pille virker eller ej: indsatsgruppen får medicinen og kontrolgruppen får placebo.
Fakta om RCT
- Stammer fra sundhedsvidenskaben og kliniske afprøvninger af medicin
- Metoden er, at deltagere i forsøget tilfældigt fordeles i mindst to grupper: en forsøgsgruppe, der modtager en indsats eller behandling, og en kontrolgruppe, der ikke gør. Denne tilfældige fordeling gør det muligt at isolere effekten af indsatsen og dermed give et mere pålideligt svar på, om noget virker
Umuligt at kontrollere kontrolgruppen
Problemet er bare, at det kan være meget svært at overføre denne forskningsmetode til evaluering af NGO-sektorens arbejde – for eksempel sociale indsatser som fattigdomsbekæmpelse, hjemløshed eller behandling af stofafhængighed, fortæller Nicole P. Marwell.
Hun peger på et eksempel med en social indsats, hvor det handler om at øge modtagernes jobparathed. Her skal der både være en indsatsgruppe og en kontrolgruppe:
”Hvis du er en person, der prøver at forbedre dine jobmuligheder, men havner i en kontrolgruppe, giver du jo ikke bare op og tænker, at du må ofre dig for videnskaben. Du finder i stedet et andet sted med jobtræning. Derfor ender kontrolgruppen med at få en indsats, der ligner den, man sammenligner med – så er det jo så ikke mærkeligt, hvis forsøget ikke viser nogen effekt,” siger Nicole P. Marwell.
RCT er ikke den eneste måde at evaluere på
Der er ikke noget problem i at lave et RCT, hvis det passer til projektet, og der kan leveres den nødvendige statistiske signifikans – altså den nødvendige mængde data. Men det er ofte svært for organisationer i civilsamfundet at leve op til de krav, ifølge Nicole P. Marwell.
Jeg mener, at det er en virkelig uhensigtsmæssig måde at tale om evaluering af nonprofit-organisationers arbejde på
Nicole P. Marwell – Professor, University of Chicago
”De fleste nonprofit-organisationer er ikke rustet til at gennemføre et RCT på den måde, det kræves. Derfor bør tilhængere af RCT holde op med at betragte det som guldstandarden og den eneste evidens, der tæller. Man bør også lade være med at sige, at man godt kan lave andre former for evaluering, men at målet altid er at ende med et RCT. Jeg mener, at det er en virkelig uhensigtsmæssig måde at tale om evaluering af nonprofit-organisationers arbejde på,” siger hun.
I stedet for at have en så ultimativ tilgang til evaluering – hvor det kun handler om ”virker det, eller virker det ikke” – burde der tages større hensyn til nuancerne og de omskiftelige vilkår for store dele af civilsamfundets arbejde, påpeger Nicole P. Marwell.
”Tilpas evalueringen til de konkrete organisatoriske og lokale behov. Og det betyder også, at man sætter deltagernes perspektiver i centrum – altså laver evaluering sammen med deltagerne, ikke på deltagerne. Det betyder, at der skal være en løbende og læringsorienteret tilgang til evaluering,” siger hun.
Nye evalueringsmetoder skal udvikles i samarbejde med bevillingsgiver
Selvom civilsamfundet godt kan arbejde med en mere agil og deltagerfokuseret evaluering på egen hånd, er samarbejde med bevillingsgivere ofte afgørende, forklarer Nicole P. Marwell.
Det er vigtigt at huske, at det at gøre en forskel ikke kun handler om at dokumentere årsagssammenhænge i en flot rapport
Nicole P. Marwell – Professor, University of Chicago
”Heldigvis er flere private fonde og enkelte offentlige myndigheder begyndt at stille spørgsmålstegn ved at bruge alle deres evalueringsmidler på store og dyre RCT’er. De kan godt se, at andre metoder også kan være af høj kvalitet – især når de er tæt koblet til organisationens mission og mål,” siger hun.
Men samtidig påpeger Nicole P. Marwell, at dette skifte langtfra er i mål, og at civilsamfundet stadig møder mange velmenende eksperter, der understreger RCT som guldstandarden til at vurdere virkningen af deres arbejde.
”Det er vigtigt at huske, at det at gøre en forskel ikke kun handler om at dokumentere årsagssammenhænge i en flot rapport. Det handler også om, hvor hurtigt en organisation kan tilpasse sig lokale forhold, hvor meget ejerskab lokalsamfundet har i processen, og hvor godt klædt på medarbejderne er til at blive ved med at lære,” siger Nicole P. Marwell.
