 - Jeg klarer ikke med største velvillighet å se at ideologi og faglig dyktighet er motsetninger. |
Her konkluderes det med at dokumentasjonen ikke er tilstrekkelig, eller at innsatsen ikke er langvarig eller kontinuerlig nok til at man skal få en virkning. De andre rusgiftforebyggende programmene får alle karakteren «Program med lav sannsynlighet for resultater». Dette gjelder såvel programmer utviklet av instanser hvor forskere står bak, som av frivillige organisasjoner og Bryggeriforeningen. Ungdomsorganisasjonen Juvente har tiltakene Rusfri diil og Kolon i denne kategorien. Vi har intervjuet Kjetil Vesteraas, Prosjektleder i Rusfri Diil, om Juventes syn på rapporten. Han går ved siden av nå på Profesjonsstudiet i pedagogikk, undervisning og ledelse-linjen, Universitetet i Oslo.
- Hva er etter din mening svakheten med Nordahl-utvalgets evaluering av rusgiftforebyggende tiltak i skolen?e kjenner til disse prinsippene, eller har
- Det aller største problemet er at den er en litteraturstudie som later som om den er en empirisk effektstudie. Det gir en del snodige utslag, blant annet induktive feilslutninger i form av at mangel på dokumentasjon leder til konklusjoner om at et tiltak ikke virker. I tillegg er det en lang rekke oppsiktsvekkende metodiske svakheter , både reliabilitets- og validitetsproblemer, prosessfeil og faktafeil. Dette gjør at rapporten etter mitt syn er uegnet som utgangspunkt for utvikling av forebyggende tiltak. Flere forskere i ulike miljøer sier rett ut at rapporten er en skandale. Vi må legge listen høyere i forhold til hva slags kunnskap vi bygger på. Spørsmålet er ikke om vi skal bygge på kunnskap, men hva slags kunnskap vi skal bygge på.
- Rusfri diil er ett av mange programmer som er blitt vurdert i Nordahl-utvalgets rapport. Kan du si noe mer om hva denne evalueringen har gått ut på?
- Prosessen artet seg som en henvendelse fra NNK-Rus (Nordlandsklinikken), og en respons fra oss i form av innsending av dokumentasjon. Det var ingen direkte kommunikasjon om evalueringsprosessen mellom oss og evaluator. Vi mottok et brev som ba oss om å sende inn evalueringsrapporter og materiell fra tiltaket, med fire dagers varsel. Brevet spesifiserte noen typer dokumentasjon, men ingen evalueringskriterier ble gjort kjent. Da jeg kontaktet evaluator for å få vite disse, fikk jeg beskjed om at det ikke var aktuelt å kunngjøre disse. Jeg plukket noe materiell , en evalueringsrapport og noe grunnlagsdokumentasjon på måfå, ettersom jeg ikke kjente kriteriene. Jeg sendte så inn dette sammen med et brev hvor jeg kunngjorde usikkerheten på grunn av de hemmelige kriteriene, og ba dem om å ta kontakt med meg dersom de manglet dokumentasjon i forhold til noen av kriteriene. Det ble for eksempel aldri på noe tidspunkt bedt om redegjørelse for teoretisk forankring, noe som senere viste seg å være ett av de mest sentrale kriteriene. Jeg hørte ikke noe mer fra verken utvalg, bestiller eller evaluator før rapporten var ferdigstilt. Dialogen har vært totalt fraværende, til tross for at jeg ba både direktorat og forskere om dette både før og under prosessen. Jeg regner i velvillighet med at det skyldes rammefaktorene og ikke et ønske om å unngå dialog, men rapporten tar ingen forbehold. Ett eksempel på misforståelse er at Rusfri Diil er evaluert som et skolebasert tiltak, noe vi overhodet ikke er, og som dokumentasjonen var tydelig på. Vi forholder oss til enkeltungdommer uavhengig av arena, og dermed blir kvalitetskriterier for skolebaserte tiltak (som for eksempel involvering av lærere) lite anvendelige for å si det diplomatisk.
- Kan man ikke uttale seg om den sannsynlige effekten av et forebyggingstiltak selv om man ikke har evalueringsstudier?
- Naturligvis kan man uttale seg om sannsynligheten av effekt også uten evaluering. Det krever imidlertid klare suksesskriterier for ulike typer forebyggingstiltak på programnivå. Det kjenner ikke jeg til at man har utviklet i Norge. Et problem er at kriterier for vurdering av programmer avledes av det synet man i utgangspunktet anlegger på forebygging. Dersom man leter etter kausale effektforbindelser, kommer man heller ikke til å snuble over andre suksesskriterier. Det er fullt mulig å vurdere sannsynlighet for effekt uten evalueringsrapporter, men det må baseres på interne målsetninger, ikke på mål som programmene selv ikke prøver å nå. Det blir som å lete gjennom skiavdelingen i sportsbutikken på jakt etter en god sykkel.
- Av rapporten kan man få inntrykk av at Rusfri Diil er et prosjekt som driver med ideologibasert famling med gode intensjoner. Er dette tilfelle?
- Jeg klarer ikke med største velvillighet å se at ideologi og faglig dyktighet er motsetninger. Ideologi gir drivet til å jobbe med disse tingene, og er mer for en forutsetning å regne. Problemet er at man setter opp noen svært lite flatterende, men fullstendig uspesifiserte kjennetegn på programmer som ikke virker, og så kaller man det evalueringskriterier. Det er ikke det minste vanskelig å gjendrive hvert eneste ett av disse evalueringskriteriene i forhold til Rusfri Diil, og det tyder i det minste på at kriteriene ikke er tilstrekkelig operasjonalisert.
- Og hvis ikke, hvilke pedagogiske prinsipper er det Rusfri Diil bygger på?
Det er det umulig å svare kort på, men vi har noen bærende prinsipper. Rusfri Diil bygger på atferdsmodifikasjon og sosial læringsteori, noe som er velprøvde teorier. Vi fokuserer på positiv forsterkning, som er et meget effektiv pedagogisk virkemiddel. Vi bygger også utviklingen av elementer på ulike teoretiske innfallsvinkler, for eksempel er community-nettstedet vårt bygget opp etter prinsipper for klasseromsdynamikk. Det er ikke slik at vi plukker én teoretisk retning og så bygger vi alt på det. Vi anser primær forebygging som pedagogisk virksomhet, og bruker relevant pedagogisk teori i utviklingsarbeidet. Vi henter dermed også suksessfaktorer fra andre formidlingstiltak enn kun ren forebygging, blant annet fra Moral Education-tiltak knyttet til sosial domeneteori. Disse teoriene, og tiltaksevalueringer basert på dem, er del av grunnlaget for de risiko- og beskyttelsesfaktorene rapporten nevner.
- Tror du forskerkommisjonen overhodet ikk de bare unnlatt å ta hensyn til dem i sine vurderinger.
- Jeg vet at det meste av dette er kjent for forskerne. Problemet er at vi aldri ble bedt om å redegjøre for dette grunnlaget, så problemet er vel snarere at de ikke sørget for å få vite at vi kjenner til disse prinsippene. Og det er forskernes ansvar å ta høyde i sitt design for å sikre validitet og reliabilitet, ikke programeierne.
- Man kan av Nordahl-rapporten få inntrykk av at ideologi i bunnen av et prosjekt er en ulempe. Hva mener du om det?
- Som nevnt er ideologi en forutsetning for forebygging. Det er faktisk i en rekke andre forskermiljøer både i Norge og i andre land regnet som en kritisk suksessfaktor, fordi det krever engasjement fra de ansatte å drive et slikt tiltak, og det kreves engasjement lokalt i gjennomføringen. Dette engasjementet forankres i ideologi. Det er en del av Juventes ideologi å drive forebyggende tiltak på et godt faglig grunnlag. Disse tingene henger sammen, og det er ikke slik at vi ofrer vitenskapelig kunnskap på ideologiens alter. Dette bekrefter problemet med manglende dialog med feltet. Vi er ikke en religiøs sekt, men engasjerte mennesker. Å være engasjert mot rusproblemet i samfunnet burde ikke være kontroversielt i noe vitenskapelig miljø. Ideologi hindrer oss ikke i å tenke klart, det bare gjør at vi gidder å tenke på disse tingene hver eneste dag.
- Nordahl- utvalget har en egen oppsummering av kunnskapsgrunnlaget for rusgiftforebygging i skolen. Hva mener du om denne oppsummeringen?
- Kunnskapsoppsummeringen er grei, og setter opp en rekke teorier og tilnærminger som helt klart bør være allmennkunnskap på forebyggingsfeltet. Nettopp der er også svakheten; det ER i stor grad allmennkunnskap. Det er svært lite der som ikke er godt kjent for de fleste på feltet fra før. Hoveproblemet for feltet er ikke å kjenne til hva som virker i teorien, men å få det som virker i teorien til å virke i praksis. Dette krever en annen type kunnskap som rapporten ikke bidrar til. Blant annet mangler det fullstendig kunnskap om skolen som arena for forebyggende innsats, for eksempel i form av rammefaktorer, legalitets- og legitimitetsrammer osv. Dermed blir det tilsynelatende slik at kritikken mot de tiltakene som ikke virker nærmest blir formulert som at man enten ikke vet eller ikke gidder. Virkeligheten er dessverre litt mer komplisert enn at den tillater ren implementering av forskningskunnskap.
- Hvordan tror du rapporten vil påvirke Juventes og de andre frivillige organisasjonenes mulighet til å samarbeide med skolen i framtida?
- Jeg tror ikke at rapporten isolert sett vil ha dramatiske konsekvenser. Dette vil naturligvis variere fra tiltak til tiltak. For KOLON som skolebasert tiltak i videregående skole, hvor det er svært få tiltak, vil rapporten være et større hinder enn for andre. Vi har likevel tro på at skolene som autonome faginstanser kjenner de lokale behovene best, og vet hva som vil fungere lokalt. Det største problemet er at rapporten sier at så mye ikke virker, at det kan gå ut over engasjementet. Forebygging virker som et relativt håpløst prosjekt, noe jeg ikke tror det er. Det jeg frykter, er at rapporten vil bli brukt som styringsverktøy av bevilgende myndigheter, men jeg håper at de også ønsker bedre navigasjon enn rapporten er.
- Hva vil Juvente foreta seg for å sikre at programmer som Rusfri diil, Fristil og Kolon fortsatt skal bli å finne i forebyggingsfeltet.
- Vi skal fortsette å drive faglig forankret utviklingsarbeid i samarbeid med forskningsmiljøer i Norge. Vi skal være gode på det vi driver med, og vi ønsker kvalitetskrav velkommen med åpne armer. Det forutsettes bare at vi måles med gode verktøy, og at kvalitetskravene stemmer overens med det vi faktisk skal drive med. Hans Hauge har sagt at dersom man forstår alle problemer som spiker, får man en tendens til å besvare alle spørsmål med hammer. Det synes jeg passer utmerket i forhold til rapporten. Vi vil ha full verktøykasse!
- Hva er det dere faktisk ønsker?
- Vi ønsker en reell dialog før og under slike prosesser i framtiden. Jeg kan fortsatt ikke fatte hvordan denne evalueringen har blitt gjennomført Dersom man skal evaluere feltet bør man begynne med å ta det alvorlig. Man kan ikke si at man tar feltet alvorlig og tillate en slik prosess som man har gjort. Vi ønsker en kunnskapstilnærming til feltet hvor man ikke ensidig fokuserer på effektevalueringer. Man bør i større grad fokusere på de kunnskapsbaserte sammenhengene mellom prediksjonsvariabler og rusgiftproblemer. 1000 ting påvirker en ungdom, det er ikke mulig å kontrollere for alt. Vi legger listen høyere enn rapporten Forebyggende tiltak i skolen og krever mer av kunnskapen. Vi trenger noe bedre, og det har vi andre steder. Annen kunnskap enn den rapporten kunngjør bør anerkjennes.
Vi vil at det utvikles kriterier for hva som kjennetegner helhetlig forebyggingsinnsats, et begrep som så vidt meg bekjent aldri er operasjonalisert. Dette kan for eksempel være å sette opp prediksjonsvariabler, og måle tiltaks effekt i forhold til disse. Da får vi også brukbar informasjon av typen dere er gode på x, men ikke så gode på y. Så kan man enten bruke et annet tiltak, som er gode på y, i tillegg, eller man kan utvikle sin egen komponent, avhengig av ressurser og muligheter. Det er ingen informasjonsverdi overhodet i dere virker ikke. Vi må jo få vite hva som i så fall er problemet. Først av alt bør man jo da undersøke om vi virker Vi ønsker et forskningsfokus som tar høyde for mer enn ren forebygging, men hvor man utvider fokus og også ser på rammefaktorer og implementeringsbetingelser. Forebygging skjer ikke i et vakuum, og det hjelper ikke at noe er lurt å gjøre dersom det ikke er fysisk mulig. Dette er særlig viktig fordi det ikke finnes noen magiske knapper i forebygging, som i annen pedagogisk virksomhet. Det handler om målrettet innsats over tid. Da må vi kartlegge rammene for slik virksomhet. Rapporten kunngjør skolen som viktig arena, men sier nesten ingenting om rammefaktorene for forebygging i skolen.
Vi ønsker oss mer kunnskap om strategiske valg for framtiden, og ikke bare etterkantsevaluering. Vi ønsker oss en liten smule ydmykhet overfor kompetansen som ligger utenfor forskningsmiljøene. I dette ligger nemlig en helt unik mulighet for diskurs mellom teori og praksis, nettopp fordi forebygging ER tett kobling til forskning. Selv om enkelte ikke later til å tro helt på det.