tisdag 29 november 2011

Om kausalitet i pedagogisk forskning (och Djävulens bländverk)

Ja, ja, hela titeln på detta blogginlägg är knyckt från en presentation som gjordes av en av mina favoritpedagogikforskare Jan-Erik Gustafsson som jag hade förmånen att få lyssna på i torsdags.

Jan-Erik är inte bara pedagog utan också en lysande statistiker. Han backar upp sina synpunkter med mängder av statistik ... eller kanske skulle man kunna säga att statistiken leder fram till vissa synpunkter.

För alla som hört debatten om pedagogikforskningen, så framställs den ju ofta som föga bättre än tyckande. För alla oss forskare som ibland funderar på design så bör dock pedagogikämnet, och pedagogisk forskning inte förefalla att den ligger så långt från helvetets förgård.

Med detta vill jag säga att det är oerhört komplicerat och dyrt att designa, genomföra och analysera studier som på ett hyggligt entydigt sätt visar hur olika faktorer påverkar varandra i skolan.

Nåväl, jag vill rekapitulera några av Jan-Eriks klokheter nu.

Först, det där med forskning kring effekter av pedagogik. Den gamle nestorn Torsten Husén uttryckte redan på 70-talet sin frustration över svårigheterna att dra slutsatser av pedagogisk forskning, och samma ståndpunkt hamnade andra namnkunniga internationella forskare i ex Cronbach ansåg redan 1965 i sin "presidential address" till APA att det var hopplöst, det var för MÅNGA samspelseffekter. (Jag hoppas jag uppfattade Jan-Erik rätt om detta).

En möjlighet som dock öppnat sig på senare år av Glaser (tyckte jag han sa) är att genomföra metaanalyser, och detta är i många sammanhang ett kraftfullt verktyg, inte minst i medicinsk forskning. (Jag måste i detta sammanhang göra reklam för Campbell Collaboration när det gäller skolforskning).

Om orsaker sa Jan-Erik, att "orsak" är ett begrepp som är intuitivt enkelt. Men ofta finns det många orsaker till ett fenomen. Begreppen "nödvändiga" och "tillräckliga" villkor leder en bit på väg, men vi lever också i en situation där många orsaker är otillräckligt kända.

Begreppet "kausal" kräver vissa förutsättningar: Orsaken kommer före verkan, Orsaken kan relateras till effekten och ... det finns ingen annan plausibel förklaring.

Vi kan aldrig nå någon total förklaring för då hade vi nått ett stadium av determinism.

Jan-Erik tog också upp begreppet kontrafaktiska slutsatser ... som jag förstod det, har att göra med experimentell design.

Mycket intressant och tänkvärt var vad Jan-Erik sa angående kausal effektbestämning. En kausal beskrivning är inte nödvändigtvis en förklaring, utan en förklaring preciserar mekanismerna i ett samband.

-'-'-'-'-'-'-'-'-

Nåväl, över från det teoretiska till empiriska fynd.

Jan-Erik lyfte fram några studier ... som ... utifall man lyssnade på forskare, borde ha en stor betydelse för skolpolitiken i Sverige:

STAR studien (Student Teacher Achievement Ratio)

Detta var en stor randomiserad studie av effekten av klasstorlek (11 600 elever), som visade på en entydig positiv effekt av att elever fick gå i liten klass (åtminstone) de första åren i skolan. Dessutom, effekterna kvarstår under skoltiden och ända upp i vuxen ålder. Effekterna var dessutom speciellt goda när det gällde elever från minoritetsgrupper och elever med låg socio-ekonomisk status.

Svenska SAMBA resultat visar ofta att elever i större klasser presterar bättre ... men detta beror på att vi i Sverige sysslar (och ska syssla med) kompensatorisk resursallokering.

Slutsatserna från SAMBA tolkas nämligen lätt felaktigt beroende på

Omvänd kausalitet: resurserna i skolan är en beroendevariabel och inte en oberoende.

Andra hot mot tolkningar när det gäller kausalitet handlar om Uteslutna variabler, Självselektion (ex. vilka elever som söker sig till friskolor) och Mätfel.

-'-'-'-'-'-'-'-'-'-

Jan-Erik kallade också korrelationer för Djävulens bländverk (korrelation är INTE kausalitet som vi brukar tjata om vi statistiklärare).

-'-'-'-'-'-'-'-'-'-

Regressionsdiskontinuitetsdesign

En spännande design för att visa på "effekt av skolgång" är att jämföra elever i år 3 och 4 och deras resultat på PIRLS (läsning vill jag minnas att det var). Vissa elever är nämligen lika gamla, men vissa har gått ett år längre i skolan. Det man kan se är då dels en ålderseffekt men också en skoleffekt.

-'-'-'-'-'-'-'-'-'-

Jan-Erik visade också på IEA resultat som tyder på att läsning och läsförmågan sjunker speciellt för pojkar, när datoranvändningen ökar. Kanske sker en förbättring i och med läsplattorna.

-'-'-'-'-'-'-'-'-'-'-

Vidare diskuterade Jan-Erik differentieringens effekter. Differentiering innebär att högpresterande barn går med högpresterande, och lågpresterande barn går med lågpresterande i skolan.

I motsats till den populära uppfattningen att detta skulle medföra bättre, och mer anpassad undervisning i bägge grupperna, leder det till att SAMTLIGA barn presterar sämre. Värst drabbas de lågpresterande barnen, men också HÖGPRESTERANDE, presterar sämre i klasser med bara andra högpresterande.

Orsakerna är förmodligen delvis olika.

För lågpresterande barn blir det negativa kamrateffekter, de känner sig sämre, och det sker också inlåsningseffekter, de kommer inte upp ur sin grupp någonsin.

För många högpresterande barn blir det knäckande för självförtroendet att plötsligt få tampas i en mycket mer homogen högpresterande grupp.

För bägge grupperna blir det "Vygotsky" effekter, de lågpresterande barnen har inte så många kamrater omkring sig som de kan få hjälp av, och för de högpresterande barnen så är det ett mycket effektivt sätt att befästa sina kunskaper, att få undervisa och hjälpa andra, som de missar.

-'-'-'-'-'-'-'-'-'-'-'-

Åter till dagspolitiken, och lite slutsatser av ovanstående:

Om vi nu vill att barn ska prestera bättre i skolorna (och det tycker jag verkligen att vi ska vilja), så måste vi försöka få tillbaka heterogena klasser, så heterogena som möjligt i grundskolan.

Vi måste också få mindre klasser, speciellt i de lägre årskurserna.

Den heliga "valfriheten" är därmed en styggelse, då den leder till homogena klasser och självselektion. Som miljöpartist tycker jag dessutom att ett skolsystem som bygger på närhetsprincipen är att föredra, för att minimera det absurda skjutsandet av skolbarn (som jag in på skinnet upplevt).

1 kommentar:

  1. Så trevligt att få läsa om en riktig pedagogikforskare. Jag har allt träffat några riktigt vederhäftiga sådana också och ger kanske en orättvist negativ bild. Men jag slåss mot en otäck toppstyrning som bara ställer till med elände. Jag håller helt med dig om att valfriheten är en styggelse. Åtminstone i sin nuvarande utformning.

    SvaraRadera