Af: Stine Dandanell Garn og Ole H. Sørensen
Forestil dig følgende model:
Og et sted midt i det hele: Et mirakel.
Det lyder karikeret. Men det er desværre en ganske præcis beskrivelse af, hvordan mange eksisterende modeller for forskningens samfundsmæssige impact faktisk er skruet sammen. Effekten opstår, men hvordan, for hvem og hvorfor den opstår, forbliver ofte uklart, implicit eller taget for givet.
Netop dét er omdrejningspunktet for artiklen “And then a miracle occurs – a review of theory of change models for societal impact of research”, som for nylig er udkommet i tidsskriftet Research Evaluation.
Artiklens titel er ikke valgt for at provokere. Den er valgt, fordi den rammer noget centralt i den måde, som mange i dag tænker og taler om impact på tværs af forskningsfinansiering, evaluering og policy.
Impact-modeller og deres blinde vinkler
I artiklen reviewer vi eksisterende modeller, der har til formål at beskrive og vurdere forskningens samfundsmæssige impact. Det vil sige, at vi ikke ser på specifikke projekter eller cases, men på selve den teoretiske værktøjskasse, som impact-vurderinger typisk trækker på.
Det overraskende – og bekymrende – fund er, at meget få teoretiske modeller faktisk forklarer, hvordan forskning forventes at føre til samfundsmæssig forandring. De forklarer heller ikke,hvordan man kan undersøge det. De fleste modeller beskriver hvad der sker (output, outcome, impact), men ikke hvorfor eller under hvilke betingelser, at A forventes at føre til B.
Kausale sammenhænge er ofte:
- implicitte frem for eksplicitte
- uunderbyggede frem for begrundet med analytiske antagelser
- lineære, selv når virkeligheden er kompleks, politisk og kontingent
Resultatet er modeller, der ser stringente ud på papiret – men som i praksis efterlader en stor forklaringståge midt i impact-kæden.
Et paradoks i evalueringens verden
Det er særligt bemærkelsesværdigt, fordi det sker i en kontekst, hvor evalueringsteori i årtier har peget på det stik modsatte.
Inden for evaluering er programteori, theory of change og realistisk evaluering netop udviklet for at:
- gøre antagelser eksplicitte
- synliggøre kausale mekanismer
- identificere kontekstuelle betingelser
- gøre indsatser empirisk afprøvelige
Alligevel viser vores gennemgang, at mange de fleste publicerede impact-modeller for forskning i praksis undlader at eksplicitere kausale sammenhænge.
Det skaber et paradoks: Vi måler impact mere end nogensinde – men forstår det ofte dårligere, end vi kunne.
Ikke blot en akademisk diskussion
For Impact Insiders læsere er dette ikke blot en akademisk diskussion. Det har meget konkrete implikationer for praksis.
Når antagelser ikke gøres eksplicitte:
- bliver impact-veje uklare
- bliver indikatorer overfladiske eller misvisende
- bliver evalueringer svære at bruge strategisk
- og bliver ansvar og forventninger diffuse
Omvendt åbner en mere eksplicit kausal tænkning for:
- systematisk refleksion over hvordan forandring reelt skabes
- bedre dialog mellem forskere, brobyggere, beslutningstagere og praksis
- mere realistiske forventninger til, hvad impact kan – og ikke kan
- stærkere kobling mellem viden, handling og struktur
Impact bliver med andre ord ikke noget, der “forhåbentlig sker”, men noget, der designes, understøttes, undersøges og forbedres.
Fra mirakler til begrundede antagelser
Vores håb med artiklen er ikke at aflive ambitionen om at forskning kan skabe samfundsmæssigt impact – tværtimod. Ambitionen er at styrke den.
Hvis samfundsmæssig impact skal være mere end et mantra, som vi gentager igen og igen, kræver det, at vi tager kausalitet alvorligt. At vi får stillet de svære spørgsmål om magt, kontekst, timing, aktører og mekanismer. Og at vi accepterer, at impact sjældent er lineær – men ofte langsom, omvejsrig og politisk.
Mirakler er fascinerende. Men virkningsveje begrundet i konkrete antagelser er mere bæredygtige.
Så måske er det netop dér, at næste generation af impact-arbejde begynder.
Stine Dandanell Garn, Ph.d. er specialkonsulent ved Det Nationale Forskningscenter for Arbejdsmiljø (NFA) og arbejder med at styrke og dokumentere centrets samfundsmæssige impact. Hun har en ph.d. i folkesundhedsvidenskab og solid erfaring med evaluering af indsatser på velfærdsområdet.
Ole H. Sørensen. Ph.d. er chefkonsulent på det Nationale Forskningscenter for Arbejdsmiljø. Han er faglig ansvarlig for centrets arbejde med samfundsmæssig impact. Ole har blandt andet stået i spidsen for udviklingen af et impactmålingsinstrument, som NFA har publiceret og anvendt i seks år.
