Metoder

Vores løsningen af opgaver udspringer altid af gennemtænkte metodiske valg. Metoderne vælges dels ud fra opgavens projektdesign, indhold og formål samt dels ud fra, hvad der giver mest mening både i forhold til opgaven og for kunden. Vi skelner mellem følgende metoder og konkrete fremgangsmåder i vores opgaveløsninger:

Survey/spørgeskemaundersøgelse

Når formålet med en opgave er at få et stort overblik over et område vælger vi typisk at udarbejde en kvantitativ spørgeskemaundersøgelse. Alt efter målgruppen kan denne enten være elektronisk eller i en papirudgave. De elektroniske spørgeskemaer udsendes typisk via programmet SurveyXact, som vi er superbrugere af. Via dette elektroniske program har vi mulighed for at designe det idéelle flow i spørgeskemaet ved hjælp af ”spring” og aktiveringer, der dirigerer respondenterne til netop de spørgsmål, der er relevante for dem, og som sikrer at vi får svar på lige netop det, vi gerne vil undersøge. Papirudgaven kan anvendes som et alternativ til den elektroniske, hvor denne typisk anvendes, hvis målgruppen f.eks. er den ældre del af befolkningen, der kan være udfordret i forhold til det elektroniske element.

Spørgeskemaerne udarbejdes og fremsendes til vores kunder forud for deres anvendelse. Efter evt. justering gennemføres en test blandt få udvalgte respondenter, før samtlige respondenter tilsendes skemaet. Dette for at teste forståelighed, om alle ”spring” i spørgeskemaet fungerer, hvor lang tid det tager at besvare, m.v. Dette er også med til at forhøje gyldigheden af undersøgelsen.

Der er en række styrker ved spørgeskemaundersøgelser. For det første kan man gennemføre undersøgelser i store respondentgrupper. Enten tilfældigt udvalgte virksomheder, eller grupper af virksomheder, der har deltaget i et projekt eller program. Spørgeskemaundersøgelser er relativt billige at gennemføre, og de kan ikke mindst afrapporteres på en visuel stærk måde i form af grafer og figurer.

Spørgeskemaundersøgelser kan imidlertid godt være vanskelige at gennemføre, så resultaterne kan anvendes. Den store udfordring er at få tilstrækkeligt gode svarprocenter til at undersøgelserne er dækkende for det, vi ønsker at undersøge. Den bedste situation er, at sende spørgeskemaer til respondenter, der har været involveret i et givet projekt i et vist omfang, og derfor dels gerne vil give deres vurdering, dels ofte føler en form for forpligtigelse til at medvirke i en efterfølgende evaluering. Her vil man ofte kunne opnå en svarprocent på mellem 50 og 60 procent. Ved udsendelse af spørgeskemaer til respondenter, der f.eks. har modtaget en ydelse, men ikke har følt sig synderligt involveret i en indsats, vil man ofte kunne opnå en svarprocent på 30-40. Og endelig skal man ved udsendelse af spørgeskemaer til respondenter, der ikke har noget kendskab til det, der ønskes evalueret eller undersøgt forvente en mere beskeden svarprocent. Vi har dog også oplevet svarprocenter på omkring 40 ved udsendelse af spørgeskema til store og bredde grupper uden forudgående deltagelse. Det handler meget om kontaktformen og den oplevede relevans af undersøgelsens tema.

Interviews

Surveys er stærke til at skabe overblik, men mindre velegnede til at skabe indblik, mens det modsatte gør sig gældende for personlige interviews. Det er derfor meget ofte hensigtsmæssigt at kombinere de to metoder. Vi foreslår derfor typisk at gennemføre enten et antal personlige interviews, telefoninterviews eller fokusgruppeinterviews, der kan følge op på spørgeskemaundersøgelserne og de resultater, der er kommet ud af disse.

Vi inddrager interviews i så godt som alle vore evalueringer og analyser. Interviewenes præcise gennemførsel afhænger af deres formål. Overordnet kan der skelnes mellem tre former for interviews, som vi foreslår, at der vælges imellem:

  • Personlige interviews
  • Telefoninterviews
  • Fokusgruppeinterviews

Interviews er som metode meget stærke, men også ret tidskrævende og derfor også dyre. Som tommelfingerregel vil der skulle afsættes ca. fire timer pr. interview, når man inkluderer forberedelse, transport, selve interviewet og efterfølgende noter. For at reducere omkostningerne kan vi evt. i stedet gennemføre telefoninterview. Denne form for interviews har en næsten lige så høj gyldighed, især hvis emnet ikke kræver dybere indsigt i virksomheden, og hvis de gennemføres af erfarne interviewer. Ofte kan de to metoder også kombineres, så vi f.eks. indleder med 5 personlige interviews, der skaber den grundlæggende viden og forståelse, der sætter os i stand til at gennemføre telefoninterviews af høj kvalitet.

Vi vælger typisk at udarbejde semistrukturerede interviews. Fordelen er her, at rammen for interviewet er sat med på forhånd definerede spørgsmål men med en åbenhed som gør, at respondenten kan komme med udtalelser og besvarelser, som ligger ud over de på forhånd formulerede spørgsmål. Hermed får interviewet også i højere grad karakter af at være en almindelig samtale mere end et formelt interview. Personlige interviews har desuden den force, at de er gode til at afdække individuelle dybdegående holdninger, oplevelser og meninger, hvor begrundelserne bag er essentielle. Disse interviewes giver et nuanceret indblik samt mulighed for at forfølge ‘nye veje’. Vi tager ordet inter-view alvorligt at udfordrer ofte vores respondenter, og sikrer som minimum at de oplever interviewet som et rum for refleksion, hvor vi søger at få dem til at sætte ord på tanker og overvejelser, som de ellers ikke havde ekspliciteret.

Styrken ved fokusgruppeinterviews er, at de er gode til at afdække skjulte følelser (tavs viden), meninger og holdninger samt kontraster, som fremkommer i kraft af diskussion og gruppedynamik, og som måske ellers ikke ville have kommet frem i et personligt interview. Derudover skaber fokusgruppeinterviews både overblik og indblik i det givne emne. Denne metode er dog meget eksplorativ, hvorfor det er vigtigt at evaluator på forhånd har defineret rammen og diskussionsspørgsmål. Metoden kræver desuden at evaluator er erfaren og komfortabel med metoden, idet gyldigheden kan afhænge af dette. I LB Analyse har vi anvendt metoden med gode resultater tidligere og føler os sikre i dens anvendelse og de muligheder, som den giver. Navnlig har fokusgruppeinterviews vist sig velegnede til drøftelse af mulige forbedringer af en indsats.

Registerdata

Den registerbaserede metode bygger på kobling af deltagerregistreringer hos de ansvarlige for den indsats, der skal evalueres, og registre hos Danmarks Statistik. Registerdata er fantastisk velegnede til at give en præcis karakteristik af de virksomheder, der har deltaget i en given indsats. Eneste krav er, at der er tale om et tilstrækkeligt antal virksomheder til at en usædvanlig udvikling i nogle få af dem ikke kan påvirke tallene for den samlede population.

Metoden er objektiv og faktabaseret i den forstand, at den bygger på lovpligtige indberetninger til bl.a. Skat. Registerdata er også meget velegnede til effektvurderinger, hvor man ved at følge en virksomhedspopulation, der deltager i en given indsats over tid, kan se om eks. dens økonomiske performance udvikler sig positivt eller negativt. Udfordringen er, at der altid er lidt forsinkelse på data om virksomhederne, hvorfor de ikke kan vise den helt aktuelle udvikling. Dette kombineret med, at det tager tid før effekten af en indsats er nået ned igennem effektkæden gør, at det kan være vanskeligt at indfange effekten af en indsats på tidspunktet for evalueringen.

Dataanalyser

Efter at data er indsamlet, om det er kvalitative interviews eller kvantitative spørgeskemaundersøgelser eller -registerdata, analyseres de. Analysen udarbejdes altid efter projektets- eller opgavens design og formål, således der kan opnås en gyldig analyse. De indsamlede data sammenholdes analytisk med den eksisterende viden, som forekommer på området. Den eksisterende viden har vi typisk indsamlet via desk research, hvor vi undersøger emnet for eksisterende undersøgelser og viden. Dermed udarbejder vi dataanalysen med udgangspunkt i eksisterende og ny indsamlede data.

Workshops

Workshops gennemføres typisk for at større antal deltagere omkring et givet projekt eller indsats, og inddrages typisk i vores opgaveløsning med henblik på at teste den forståelse af et givet område, som vi en given sammenhæng har opbygget, samt i nogle tilfælde til at teste vores forslag til anbefalinger. Der er således tale om, at workshoppen på samme tid bruges til at kvalificere vores resultater og til at forberede implementeringen af evt. anbefalinger. Alene det forhold at et større antal deltagere udvikler en fælles forståelse af et givet felt, vil typisk virke befordrende for senere ændringer af en eksisterende indsats, hvis der f.eks. har været tale om en midtvejsevaluering, eller for senere introduktion af nye tiltag. Og så er det også bare sådan, at motivationen for alle parter til at deltage aktivt er betydeligt større 14 dage før evalueringsrapporten afleveres end 14 dage efter. Så vi indbygger en forankring af resultaterne i processen og sikrer at alle relevante parter opnår kendskab dertil.