Af Stefan Brendstrup
Når man udvikler ny teknologi, anvender man ofte en skala, der viser, hvilket udviklingstrin teknologien befinder sig på. Sådan en skala kunne jeg godt ønske mig for sociale indsatser.
For som evaluator oplever jeg, at vi træder for meget rundt på midten af innovationsprocesserne uden hverken at gå tilbage til de grundlæggende udfordringer eller at tage udviklede indsatser til et niveau, hvor de for alvor kan gøre en forskel.
Er der nogen, der vil være med til at bygge sådan en modenhedsskala for sociale indsatser?
Lad mig lige starte med at introducere TRL-skalaen. Forkortelsen står for Technology Readiness Level, og skalaen beskriver i ni trin vejen fra den grundlæggende idé, til løsningen er klar til fuld skala i den virkelige verden.
Oprindelig blev skalaen udviklet af NASA som et instrument til at måle en teknologis modenhedsniveau, og i dag findes den i en del varianter.
TRL-skalaen er utrolig klargørende på flere punkter, og jeg tror, at en tilsvarende skala for projektfinansierede indsatser på det sociale område, uddannelse, erhvervsudvikling med mere kan skabe lignende klarhed.
Jeg ser tre klare fordele ved at prøve at udvikle en lignende skala for udvikling af nye løsninger på det sociale område:
- Større klarhed over vejen frem til virksomme løsninger, og hvor langt i udviklingen vi er.
- Større klarhed over, hvad der er relevante effektmål for indsatser i forskellige udviklingsstadier.
- Mulighed for bedre udnyttelse af forskellige aktørers kompetencer og ressourcer i det samlede system
Hvor er vi i udviklingen af en indsats?
TRL-skalaen gør det klart, hvor lang vejen er fra de basale principper for en teknologi til en virkelighedstilpasset løsning. Hvor lang tid det tager, vil variere fra område til område.
I Danmark har vi inden for uddannelse, sociale indsatser, erhvervsudvikling og mange andre områder på en eller anden måde besluttet, at udvikling varer tre år – nogle gange fem – hvorefter en eventuel løsning skal overgå til drift.
Med TRL-skalaen bliver det tydeligt, hvor mange trin der er i udviklingen af en ny teknologi. I de fleste tilfælde er tre år kun en realistisk tidshorisont, hvis man starter indsatsen højt oppe på skalaen.
Helt konkret er trin 5 på skalaen udtryk for, at en løsning er afprøvet i et relevant miljø. Det svarer meget godt til, hvor jeg som evaluator møder de fleste indsatser.
Men herfra er der altså endnu fire trin, før en løsning er moden til implementering i fuld skala. Det er en indsigt, jeg ofte savner. Hvem skal stå for denne del af udviklingen, når det ikke kan nås inden for de typiske tre år?
Evaluering skal tilpasses skalaens trin
Alle bevillingsgivere og projektholdere er optaget af at gøre en forskel. Vi kalder det i stigende grad for impact uden helt at vide, hvad det egentlig betyder.
Alt for ofte er der et mismatch mellem det, vi ønsker at måle på – den forskel vi gerne vil gøre – og det trin i udviklingen af en virksom indsats, projektet befinder sig på.
Jeg tror, anvendelsen af en udviklingsskala for sociale indsatser kunne hjælpe med at klargøre, hvad der er relevante effektmål for mange indsatser, eller for de forskellige faser i en udviklingsproces, så vi ikke gør ét og måler på noget andet.
Hvis man afprøver bestemte metoder eller redskaber på en udvalgt målgruppe, så vil vi selvfølgelig gerne vide, om det har været virksomt for målgruppen.
Men projektets hovedbidrag er ikke den forskel, det lykkes at gøre for de eksempelvis 20 unge, der deltog i indsatsen. Det er den viden og indsigt, som projektholderen og andre kan bygge videre på i de næste trin af udviklingen.
Derfor skal formålet med evaluering – og det vi måler på – variere med indsatsens udviklingstrin. Og der skal tænkes over, hvordan den opbyggede viden og erfaring bringes videre til de, der kan anvende den til at arbejde videre op ad skalaen.
Efter min erfaring er vores forståelse af, hvordan man kommer videre fra, at en indsats er virksom i et relevant miljø til egentlig systemintegration, ofte meget mangelfuld, og meget få føler ansvar for at tage udfordringen op.
Hvem arbejder på hvilke trin?
Inden for teknologiudvikling er der en klar forståelse af, at der skal ske udvikling på alle trin af TRL-skalaen, og at forskellige aktører og ordninger kan noget forskelligt og dermed har evnen til at gøre en særlig forskel på udvalgte trin.
Universiteterne arbejder for eksempel primært på de tidligere trin, mens diverse udviklings- og demonstrationsprogrammer arbejder på de midterste trin, og endnu andre arbejder med den ofte svære vej, fra en løsning er testet og valideret, til den kan skaleres og klare sig kommercielt.
Der er en forståelse af, hvor det samlede system måske trænger til at blive styrket, og hvilke aktører der måske kunne forskyde deres fokus lidt for at få det samlede system til at fungere bedre, undgå flaskehalse m.v.
Min oplevelse som evaluator af mange indsatser inden for uddannelse, erhverv og socialområdet er, at der er enorm trængsel på midten.
Meget få har tålmodighed, finansiering, mod og så videre til at gå helt tilbage til de tidlige trin i udviklingen af en indsats og genbesøge deres forståelse af udfordringerne og de basale principper at arbejde efter.
Og meget få aktører ser det som deres naturlige opgave at bringe løsninger videre efter trin 5. Mange projekter ender med en evalueringsrapport, måske en afslutningskonference og et håb om, at andre vil lade sig inspirere.
Skal vi lave en social modenhedsskala?
Jeg har lyst til at gøre forsøget.
I Pluss er vi aktuelt knyttet som evaluator til flere end 100 projekter. Vi oplever, at flere og flere bevillingsgivere er parat til at bevæge sig tilbage mod mere langsigtede og grundlæggende indsatser, der får flere år til at virke, omfatter flere aktører, er mere eksperimenterende og har systemforandring som mål.
Det er en fantastisk spændende udvikling. Men vi må være ærlige og erkende, at vi i betydeligt omfang mangler evalueringsmæssige svar på denne bevægelse.
Vi har alt for ofte søgt mod den høje ende af skalaen, når vi har ledt efter relevante mål, fordi indsatserne heroppe er mere målbare og lugter af at gøre en forskel. Jeg tror, en social modenhedsskala kunne hjælpe os med at udvikle feltet.
Men idéen er ikke så moden. På TRL-skalaen ville den formentlig ligge på niveau 2: ”Technology concept and/or application formulated”.
Så der er lang vej igen, og ideen skal både opfattes som meningsfuld af flere og udvikles i samarbejde med andre – hvis man overhovedet kan flytte tænkningen om en sådan skala fra den teknologiske og naturvidenskabelige sfære til den komplekse sociale kontekst.
Socialstyrelsen og STAR opererer med en mere simpel terminologi for projekter i forskellige stadier, og Innovationsfonden har en skala for ”Societal Readiness Level”, som primært bruges til at vurdere, hvor parat samfundet er til at tage imod en ny innovation.
Så mit spørgsmål, nu hvor I er nået helt til bunds i klummen, er: Er der nogen derude, der vil være med at samle deres erfaringer og begynde at udvikle på en skala?
For så synes jeg, vi skal finde sammen, kortlægge hidtidige erfaringer, undersøge hvad bevillingsgivere og projektudviklere ville finde hjælpsomt og udvikle et bud på en sådan skala.
Stefan Brendstrup er partner i Pluss Leadership, hvor han leder et evalueringsteam på 10 konsulenter, der aktuelt er i gang med flere end 100 evalueringsopgaver for private fonde og offentlige myndigheder. Pluss Leadership har udviklet ”Den kritiske ven” tilgang til evaluering. Du kan skrive til Stefan på sb@pluss-dk
Tak fordi du læser Impact Insider. Som samfundsiværksætter eller investor ved du, at kvalitet ikke er gratis. Vi er afhængige af, at abonnenter betaler for vores journalistik. Så hvis du synes, det er værd at have et uafhængigt specialmedie, der konstant jagter de bedste og mest effektive løsninger på samfundsproblemer, kan du tegne abonnement her.
