Hvordan laver vi kvalificerede forudsigelser til en god business case? 

Skrevet af Karsten Storgaard Bjerre, ErhvervsPhD-studerende i sociale investeringer hos Komponent – Kommunernes Udviklingscenter.

Hvis vi i Danmark skal blive dygtige til at udvikle gode business cases kræver det, at vi har en åbenhed om de bagvedliggende beregninger. Vi skal ikke kun evaluere, om den sociale investering var en succes, men også analysere, hvad resultaterne giver af feedback til de metoder, data og antagelser, som business casen byggede på. 

Sociale investeringer har det dobbelte formål at skabe effekter for de udsatte målgrupper og økonomiske gevinster for de offentlige kasser på samme tid. Forud for investeringen skal man derfor forsøge at nå frem til, hvilke effekter for målgruppen man forventer at få ud af investeringen, og hvilke økonomiske gevinster, der kan være for det offentlige i investeringen. Man skal med andre ord lave en business case.

Det er af flere grunde lettere sagt end gjort. For det første er sociale investeringer en relativt ny disciplin, og det er mig bekendt endnu ikke undersøgt, hvor præcise business casene for sociale investeringer er, sammenlignet med de effekter og økonomiske gevinster, der realiseres. For det andet arbejder vores psykologi imod os. Det viser i hvert fald forskning fra en anden branche, hvor arbejdet med business cases har en meget længere historik; planlægning af store offentlige anlægsprojekter.

Lad os begynde med det sidste.

Vi kan lære af erfaringer fra anlægsprojekter

Et stort flertal af store anlægsprojekter bliver ifølge professor Bent Flyvbjerg budgetteret med for lave udgifter og for store gevinster (Flyvbjerg 2011). Det medfører budgetoverskridelser, og i de enkelte projekter er de altid ledsaget af specifikke årsagsforklaringer – fx problematiske jordbundsforhold. Forklaringerne har det dog med at gå igen, de er med andre ord relativt forudsigelige, skriver Flyvbjerg. Spørgsmålet er derfor, hvorfor man ikke lærer af dem?

Han peger her på to bagvedliggende årsager til de systematisk skæve business cases. For det første har mennesket nogle karaktertræk (kognitive biases), der får os til ofte at være for optimistiske i planlægningen – fx i forhold til, hvor tidskrævende de er. For det andet vil der altid være interessenter omkring større offentlige anlægsprojekter, der ønsker at projektet bliver gennemført, og de foretrækker derfor en attraktiv frem for en realistisk business case (Flyvbjerg 2011).

Selv om der er stor forskel på jordbundsforhold og de forhold, der påvirker arbejdet med mennesker, viser forskningen, at der er god grund til at være nysgerrig på de erfaringer, vi kommer til at gøre os de kommende år: Rammer vores business cases rigtigt? Og hvad forklarer eventuelle fejlskud? 

Selv om der er stor forskel på jordbundsforhold og de forhold, der påvirker arbejdet med mennesker, viser forskningen, at der er god grund til at være nysgerrig på de erfaringer, vi kommer til at gøre os de kommende år: Rammer vores business cases rigtigt? Og hvad forklarer eventuelle fejlskud? 

Karsten Storgaard Bjerre

Menneskelige og organisatoriske biases står ikke alene

Flyvbjerg peger på udfordringer knyttet til menneskelige og organisatoriske biases, men det er samtidig værd at minde om, at det er en krævende opgave at lave business cases til sociale investeringer af mindst tre grunde:

• Effekter er metodisk vanskelige at undersøge, fordi effekter af en indsats kræver overvejelser om, hvad der var sket, hvis indsatsen ikke var blevet gennemført.
• Business cases handler om at forudsige fremtiden, hvilket pr. definition er vanskeligt.
• De fleste offentlige forvaltninger arbejder ikke systematisk med at styrke kvaliteten af deres forudsigelser.

I resten af denne artikel giver jeg et bud på nogle analysemetoder, der kan hjælpe på vej til realistiske investeringsforslag.

Business cases baseret på triangulering

Mit bedste bud på solide business cases er at bruge flere forskellige metoder til at estimere effekterne og de økonomiske konsekvenser. Her vil jeg fremhæve fire typer af metodiske tilgange, som man kan overveje at trække på.

• Den klassiske forskningstilgang baseret på effektmålinger, cost-benefit-studier mv.
• Erfaringer fra konteksten fx med lignende indsatser i andre kommuner.
• Vurderinger fra relevante specialister og eksperter, herunder kommunens egne fagprofessionelle medarbejdere.
• Pilotforsøg af interventionen på en afgrænset målgruppe i en kortere periode.

Klassisk forskningstilgang

Der bliver løbende lavet effektmålinger af sociale interventioner, og i de senere år er der gennemført et stigende antal analyser, hvor de økonomiske aspekter af interventionen også er med. Det er også her man finder de randomiserede kontrollerede forsøg (RCTs), der af flere betragtes som den metodiske ”guldstandard” i forhold til effektforskning. På trods af de stærke sider ved RCTs, er der stadig behov for at supplere med andre tilgange, da de ikke giver garanti for at opnå de samme resultater i en anden kontekst (Cartwright 2013).

Den Socialøkonomiske Investeringsmodel SØM indeholder en kortlægning af relevante effektstudier, og SØM kan være en indgang til at finde studier om den målgruppe, man ønsker at lave en business case for – også hvad angår de budgetøkonomiske gevinster ved effekter af indsatser i kommuner, regioner og staten. Beregningerne tager afsæt i registerbaserede analyser og en række antagelser.  

Erfaringer

Tilgangen er her en slags udefra-ind-tilgang, hvor man ikke først og fremmest fordyber sig i projektets detaljer, men ser mere overordnet på, hvad erfaringerne har været fra projekter, der ligner i form af eksempelvis nøgletal og beretninger fra de involverede. Den tilgang er en af Flyvbjergs anbefalinger i relation til business cases i større projekter, fordi det tilføjer en dosis ”virkelighed” til analyseprocessen, hvor man måske får øjnene op for forskellige risici i relation til implementering og effekter, som man ellers ville undervurdere.

Vurderinger

De fagpersoner, der til dagligt arbejder med målgruppen, har ofte en dyb indsigt i både målgruppens behov og de indsatser, som målgruppen i forvejen får. Det er derfor oplagt også at udnytte målgruppekendskabet i business case-arbejdet – fx i situationer, hvor målgruppen i X-købing har andre karakteristika end den målgruppe, som der er udarbejdet effektmålinger på. Behovet kan også skyldes, at den planlagte indsats eller konteksten for indsatsen ikke er helt sammenlignelig med den situation, som der er gennemført effektmålinger på.

Mit umiddelbare indtryk er, at inddragelsen af fagpersoner ofte sker relativt ustruktureret, selvom inddragelsen af fagpersoner er væsentlig. Der er udviklet metoder til at inddrage fagpersoners indsigt struktureret, som du kan du læse mere om her: 

Mit umiddelbare indtryk er, at inddragelsen af fagpersoner ofte sker relativt ustruktureret, selvom inddragelsen af fagpersoner er væsentlig.

Karsten Storgaard Bjerre

Pilotforsøg

En metode til at opnå solide estimater i business cases kan også være at gennemføre tidsafgrænsede pilotforsøg, før man beslutter sig for, om indsatsen skal rulles bredere ud. Da Herning Kommune ønskede at afprøve en svensk sagsbehandlingstilgang, som var kortlagt i forskningsrapporter (Mathiasen, Kollin, og Eriksen 2011; Mathiasen, Madsen, og Eriksen 2012), valgte kommunen først at gennemføre et pilotforsøg, hvor tilgangen blev implementeret i udvalgte skoledistrikter. Evaluatorerne kunne følge såvel de processuelle erfaringer med implementeringen som de resultatmæssige forskelle til de skoledistrikter, der var fortsat med den oprindelig praksis (Pedersen og Kloppenborg 2017; Møller m.fl. 2015).

Pilotforsøgene kan give et stærkt afsæt, fordi man kan afprøve det i en kontekst, der minder om den bredere kontekst, som investeringen skal udrulles i. Det er samtidig en metode, der kræver tid og ressourcer i væsentligt omfang, så metoden er nok mest relevant, når et stærkt vidensgrundlag er særligt vigtigt.

Jeg vil foreslå, at man vælger at basere sig på 2-3 af de forskellige metodetyper. Idéen med trianguleringen er, at man bliver opmærksom på usikkerheder og risici ved investeringen, hvis resultaterne varierer meget afhængigt af, hvilke metoder der anvendes. Styrken ved at være åben overfor alle fire metodiske tilgange er også, at det giver en fleksibilitet til at kunne udarbejde business cases i relation til investeringsforslag, hvor det fx er svært at finde helt sammenlignelige projekter.

Litteraturanbefalinger og kilder

Cartwright, Nancy. 2013. “Knowing What We Are Talking about: Why Evidence Doesn’t Always Travel”. Evidence & Policy: A Journal of Research, Debate and Practice 9 (1): 97–112. https://doi.org/10.1332/174426413X662581.

Flyvbjerg, Bent. 2011. “Over Budget, Over Time, Over and Over Again”. I The Oxford Handbook of Project Management, redigeret af Peter W. G. Morris, Jeffrey Pinto, og Jonas Söderlund, 2011:321–44. https://doi.org/10.1093/oxfordhb/9780199563142.003.0014.

Mathiasen, Stinne Højer, Lone Bjørn Madsen, og Morten Eriksen. 2012. “Tæt på en svensk kommune. Inspiration fra Borås Kommunes praksis på området for udsatte børn og unge”. KREVI.

Mathiasen, Stinne Højer, Marianne Schøler Kollin, og Morten Eriksen. 2011. “Den svenske model. Et første nærbillede af den svenske praksis på området for udsatte børn og unge”. KREVI.

Møller, Simon Østergaard, Frederik Schmidt, Hans Skov Kloppenborg, og Hanne Søndergård Pedersen. 2015. “Sverigesmodellen i praksis: erfaringer fra Herning Kommuneefter to år”. Metodecentret & KORA.

Pedersen, Hanne Søndergård, og Hans Skov Kloppenborg. 2017. “Slutevaluering af Herning Kommunes Sverigesprogram”. KORA.