Statistikk: Analyse av data med endring

    Sett at vi har en gruppe som har gjenomgått sosial kompetansetrening (ART), mens en annen gruppe ikke fikk trening (KONTROLL). Deltakere ble tilfeldig fordelt til disse betingelsene. Det var 10 deltakere i hver gruppe. Her vises skåre på et kompetansemål ved pretest (før intervensjonen), ved posttest (etter intervensjonen), og til sist endringsskåre (dvs. posttest - pretest). Dataeksemplet er tilpasset fra fra Rogosa (1980).

    Spørsmålet er nå hvordan vi skal kunne dokumentere en effekt av tiltaket, dvs. om ART-gruppen har et utbytte av intervensjonen i forhold til kontrollgruppen.

    Alternativ 1

    Det er flere måter å gjøre dette på. Den kanskje enkleste ville være å ta utgangspunkt i sluttresultatet: Er kompetanseskårene forskjellig mellom gruppene etter intervensjonen? Dette kan besvares med en enkel t-test. Figuren og tilhørende utskrift for t-testen viser at det er en signifikant forskjell mellom gruppene.

    Alternativ 2

    Denne analysen tar imidlertid ikke hensyn til skårene ved pretest. Nå må vi anta at gruppene var like ved pretest (deltakerne ble randomisert til betingelsene), men det kan jo tenkes at endring likevel er påvirket av nivå ved pretest. Som et alternativ kan vi da se på endringsskårene (dvs. hver elevs skåre ved posttest minus skåre ved pretest). Som det fremgår av figuren under, er denne forskjellen signifikant.

    Alternativ 3

    En tredje måte å analysere disse resultatene på, er å bruke vaniansanalyse (ANOVA) med pretest-posttest som repeterte målinger. Denne analysen vil gi tre resultater: Hovedeffekten av intervensjon (ART-kontroll), hovedeffekten av tid (pre-post), og interaksjonen mellom disse. De to første er egentlig av mindre interesse: (1) Hovedeffekten av intervensjonen slår sammen pre og post, slik at vi i analysen inkluderer målinger før intervensjonen, altså målinger som ikke kan reflektere intervensjonen. Dette er med andre ord en ganske uinteressant effekt å fokusere på. (2) Hovedeffekten av tid slår sammen ART og kontroll, slik at vi delvis tester noe vi ikke forventer skal gi noen effekt (kontroll).

    Dette betyr at det egentlig er interaksjonen vi er interessert i: Er det en differensiell utvikling mellom gruppene fra pre til post? Som grafen under viser, er det en ulik utvikling: ART-gruppen stiger til et høyere nivå ved posttest enn kontrollgruppen gjør, og denne interaksjonen er signifikant.

    Flere (eks. Huck & McLean, 1975) har påpekt analyser med repeterte målinger (som i grafen over, der altså interaksjonen er i fokus) ikke gir informasjon ut over det man får ved å se på endringsskrårer direkte, noe som kan verifiseres ved å se på grafen for endringsskårer og for ANOVA med repeterte målinger over.

    Noen ganger har man spesifikke prediksjoner, eks. i dette tilfellet at ART-gruppen skal vise en signifikant endring mellom pre og post, mens kontrollgruppen ikke skal endre seg. Dette sjekkes med konstrastanalyser, der nivå pre vs. post sammenlignes separat for gruppene.

    ANOVA kan alternativt kjøres på differanseskårer. Med bare pre og post-skårer blir det dermed ikke mulig å få frem interaksjon, slik at analysen blir den samme som ved t-test i Alternativ 2 over.

    Alternativ 4

    Den foretrukne metode i denne sammenheng er likvel et fjerde alternativ: ANCOVA (analysis of covariance). Denne brukes hvis deltakerne er randomisert til betingelsene, dvs. at det ikke er en systematisk forskjell i pre-skårene. Her betraktes skårer ved posttest som den avhengige variabel, og som prediktorvariabler legger man inn intervensjon (ART vs. kontroll, som er en diskret prediktorvariabel) og skårer ved pretest (kontinuerlig prediktorvariabel). Som det fremgår av figuren under er konklusjonen den samme som for ANOVA med repeterte målinger, men metoden er mer direkte fokusert på det som er spørsmålet i denne sammenheng, nemlig om det foregår en endring mellom pre og post relatert til intervensjonen.

    Alternativ 5

    Hvis man har flere målinger (eks. pretest - posttest - oppfølging), blir ting litt mer komplisert. Hvis man skulle følge logikken i Alternativ 4, kunne skårer ved oppfølging legges inn som avhengig variabel og skårer ved posttest legges inn som kontinuerlig prediktorvariabel. Men dette bryter prinsippet om at det ikke skal være systematisk forskjell mellom gruppene (ved posttest er jo gruppene systematisk forskjellige hvis intervensjonen har hatt effekt). Man kan da vende tilbake til ANOVA (og legge inn de tre nivåene pretest - posttest - oppfølging som repeterte mål), evt. ty til andre metoder. Mara et al. (2012) diskuterer en mulighet (Latent Change Model), en variant av SEM (Structural Equation Modeling).

    Referanser

    Huck og McLean (1975)
    Rausch et al (2003)
    Mara et al. (2012)
    Tilbake