The flipped evaluation

Vad skulle man på en enskild skola kunna göra för att minska bedömningsbördan?

Om vi börjar med att dela upp bedömningen i olika delar: tid för att förstå/samverka mellan lärare för att bedömningen ska bli likvärdig, tid för att eleverna ska förstå vad som förväntas av dem, tid för att rätta prov eller andra uppgifter och tid till dokumentationen.

När det gäller tid för att förstå bedömningskriterierna speglar den luddigheten i skolverkets formuleringar – det tar alltså mycket mer tid att komma överens eftersom relativa begrepp med nödvändighet är subjektiva och måste därför kalibreras för varje enskild lärare/lärarlag. Vi har skrivit mycket om det här och hur man kan effektivisera det arbetet med hjälp av SOLO-taxonomin så det tänker jag inte gå in på nu.

När det gäller resten av tiden går den att integrera med det löpande arbetet; man bygger upp hela den pedagogiska strukturen kring bedömningen. Det kan låta bakvänt, men är faktiskt inte olikt det vi redan gör (styrda av nationella prov). Skillnaden blir att man genom att utgå direkt från bedömningskriterierna kan lägga större vikt vid översättningen eftersom den då blir central.

Vad som händer är att man först måste precisera, konkretisera, exakt vad kriterierna står för i just det här sammanhanget (se konkretisera en förmåga). Man skapar då ett inlärningsresultat som blir direkt förståeligt för både lärare och elev. Den här delen är helt avgörande och man vinner på att lägga tid på att se till att man har lyckats. T ex kan man testa sina formuleringar på olika elever och andra lärare. Ett välformulerat och lättförståeligt inlärningsresultat sparar oändligt mycket tid i den fortsatta processen.

Utifrån inlärningsresultatet bygger man sedan upp de pedagogiska momenten. För varje moment ställer man sig frågan: på vilket sätt kommer det här att leda till inlärningsresultatet? Vad, rent konkret, är det eleverna ska kunna producera när momentet är utfört?

Enklast är att jobba utifrån elevarbeten, snarare än prov. Tiden man vinner på att inte göra, rätta och förklara prov lägger man istället på uppföljningar – formativa bedömningar – av elevarbetena. Det här är centralt och något vi ofta är dåliga på när det gäller elevarbeten. Att så många elever faller igenom när de jobbar ”självständigt” beror på att de inte får det stöd under processen som de behöver. Men om man minskar på föreläsningar och lärarcentrerade genomgångar (t ex genom samarbete med andra lärare och ”the flipped classroom”) kan man få mer tid till att följa upp elevarbetena. Med välformulerade inlärningsresultat blir det lätt att hjälpa eleven att förstå vad det är som behöver utvecklas. Här kan man också jobba med elevbedömning, något som i början tar mycket tid eftersom eleverna måste lära sig vad det är de ska leta efter. Men när de lär sig det så kommer de inte bara att bli bättre på att hantera sitt eget lärande i just den här uppgiften, utan i annat lärande också. Lärprocessen är snarlik mellan olika ämnen.

Den viktigaste dokumentationen blir det färdiga elevarbetet - som får en summativ bedömning. Denna bedömning är lätt att göra eftersom man, som den kanske viktigaste delen av lärprocessen, har följt arbetet och bara behöver kolla vad som har hänt sedan den senaste genomgången.

Och det här med att lägga in saker på datorn? Den kan vara en del av genomgången med eleven; visst, man måste titta på eleven också, men kortare kommentarer kan föras in direkt under samtalet. Även här handlar det om att utnyttja det arbete man har gjort med att göra ett välformulerat inlärningsmål – man kommer redan att ha färdiga meningar (utan relativa begrepp) om vad det är som är gjort och vad som behöver göras.

Tanken är att utgå från en detaljerad och konkret beskrivning av det som ska läras in, kriterierna, istället för att utgå från generella färdigheter som sedan översätts till kriterier. Det jobbet har redan skolverket gjort åt oss när de formulerade bedömningskriterierna.

Vad skulle idén med ”the flipped evaluation” kunna göra för dig?

Tänkvärda samarbeten

Hur bra är dina kollegor/chef på att samarbeta? Hur kreativa och uppbyggliga är era möten? Det är ironiskt att en förmåga som är så central för hur vi jobbar, tas för given och i stort sett aldrig tränas upp på ett aktivt sätt. Hur många av oss har gått en kurs – med konkreta inlärningsresultat – där vi tränat upp vår samarbetsförmåga?

Det förekommer en uppsjö av aktiviteter i skolan som är tänkta att öka samarbetet, allt från temadagar med eleverna till personalvårdande fester eller utflykter. Trots detta är det sällan man sätter upp något mål för vad det är som ska hända med samarbetet, eller ens diskuterar det.

Och vad händer? Jobbar eleverna bättre tillsammans, blir lärarnas möten mer kreativa och stöttande?

Vill vi ändra på det här – och tänk vad man skulle kunna uppnå om fler var bra på att samarbeta, om man slapp konflikter och långrandiga möten – så behövs två saker: dels definierade mål, dels aktiv reflektion.

Det definierade och konkretiserade målet (inlärningsresultatet) behövs för att vi ska veta om det vi gör fungerar. Men det är också nödvändigt för att vi ska kunna ta fram ett lämpligt sätt att jobba med det. Säger man att man ska öka samarbetsförmågan utan vidare förklaring så kan det betyda lite vad som helst. Idrottsrörelsen påstås till exempel träna upp samarbetsförmågan, men är det verkligen så att de elever som idrottar, generellt sätt är bättre på att samarbeta i skolan än de elever som inte håller på med någon gruppidrott?

Exempel på konkretiseringar kan vara att ”alla har kommit till tals”, ”alla vet vad de ska göra” eller mer svårdefinierade men relevanta ”vi använder trevligare tonläge till varandra”. Ju mer utförligt beskrivet resultatet är, desto lättare blir det att märka om man lyckas. Man kan till exempel fundera över vad som menas med ”till tals”. Hur kommer man till tals? Hur blir man lyssnad på? Hur märker man att var och en har bidragit till den slutgiltiga produkten?

Reflektionen – både innan (då alla ska få chansen att fundera kring övningen både på egen hand och i diskussion med andra) och efter – är en central del av lärandet. Utan den är det stor risk att övningen bara glider ovanpå deltagarna, precis som andra aktiviteter där man inte får vända och vrida på det man upplevt.

Nästa gång ni ska ha en aktivitet där samarbetsförmågan ska tränas, prova att ha inlärningsresultat och reflektioner. Och skulle inte övningen ge det förväntade resultatet så prova något annat sätt att träna samarbete - ta inte för givet att lärande sker bara för att man gör saker tillsammans! 

Hur formativ är du?

I förra söndagens Agenda 21 sa en elev att hon kände sig ständigt bedömd. Om hon sydde fel på en sömsmån så skulle hela hennes betyg falla (dvs hon utsattes för en kontinuerlig summativ bedömning). Hon är inte ensam om att uppleva det så. I ett annat fall ville en elev veta hur hon låg betygsmässigt och vad hon behövde göra för att få det betyg hon ville ha. Hon fick då veta att läraren inte kunde säga detta innan redovisningen (som skulle ske just innan betygen sattes och alltså var grunden för en summativ bedömning).

Vad vi ser här är exempel på två saker: dels att läraren är osäker på var i lärprocessen eleverna ligger, dels att de formativa lärsituationerna saknas. Och det är anmärkningsvärt med tanke på hur mycket just formativ bedömning diskuteras idag. (Kan det vara så att en föreläsning i sig inte leder till en förändring?)

Om man jobbar elevfokuserat och med inlärningsresultat (konkret formulerade bedömningsunderlag) är det lätt för läraren att ha koll på lärprocessen. Visst, det är kanske orealistiskt i vissa ämnen att ha ett konkret bevis på vad varje elev har lärt sig efter varje lektion, men var tredje är definitivt möjligt om man lägger vikt vid detta.

Att veta var eleven ligger i relation till det som ska uppnås är själva grunden för ett bra lärande. Hur ska annars läraren (och eleven) kunna veta vad som behöver göras?

I dagsläget när elever förväntas styra (och ta ansvar för) sitt eget lärande måste denna avstämning finnas på plats. Och medan jag tycker att det är bra att elever tränas i att lära (och ta ansvar för det) så är det fortfarande lärarens ansvar att se till att eleverna har de redskap som gör det möjligt. Kan inte läraren berätta var eleven ligger och vad hen behöver göra för att gå vidare, kan man inte heller förvänta sig att eleven ska kunna lära sig att lära.

(Det behöver inte vara så svårt som det är nu – se fliken SOLO och learning outcomes och ta kontakt med oss om ni vill att alla på skolan ska vara med.)

Evidens av lust

Det senaste numret av Pedagogiska magasinet har forskning som tema. I en artikel om strävan efter evidensbaserade metoder påpekar Cleas Nilholm att det finns mål utanför kunskapsmålen som inte mäts. Exempel är kritiskt tänkande och lust till lärandet. Det första exemplet är kanske lite missvisande eftersom kritiskt tänkande dyker upp på många ställen i betygskraven i Skola-11, men låt oss titta närmare på det andra: lusten.

Vad är det som säger att lust inte går att studera eller mäta? Jag håller helt med om att lust i sig, precis som ”förmågan att” (som är en favoritfras i Skola-11), inte går att mäta med mindre än att vi är tankeläsare. Det är resultatet av tankarna, i ord, handling eller beteende, som vi andra märker. Precis som lärarna är tvungna att studera utfallet av en förmåga, så skulle man kunna titta på utfallet av lust.

Och hur svårt är det? Vad tycker du kännetecknar lust? Och om du förhåller dig förutsättningslöst och vill ta reda på mer precis vad det betyder för en viss elev, hur många barn har svårt för att beskriva hur de beter sig när något är roligt?

Här kommer vi in på en kärnfråga, nämligen hur man definierar resultat av abstrakta förmågor, känslor eller varför inte värdegrundstankar. Mycket som görs i skolan idag – som till exempel vidareutbildning – utvärderas inte alls. Vi fokuserar på processen, men vet varken vart vi vill komma (rent konkret) eller hur vi ska veta om det vi gör fungerar.

Trots att vi så sällan gör detta (och därför utför t ex kostsamma omorganisationer utan att veta om de ger något resultat), så är det inte speciellt svårt. I t ex ett värdegrundsarbete kan vi svara på frågorna: hur kommer vi att märka att det fungerar? Vad gör elever/medarbetare annorlunda efteråt? Vad säger de, vilka faktorer har de med i sina resonemang, hur handlar de?  

Definierar vi detta redan från början (dvs sätter upp learning outcomes) blir det också lättare att bedöma vilka insatser som kan tänkas fungera. Kommer en inbjuden föreläsare skapa denna förändring? Vad händer om vi diskuterar frågor i olika grupper? Eller dramatiserar en händelse? Efteråt kan vi sedan bedöma om insatsen fungerat.

Och gör den inte det är det läge att prova något annat, eller hur? Och med denna fråga följer en ytterligare undran: hur ofta har vi gjort om samma insats trots att den inte har lett till någon bestående förändring?  Hur många utbildningsdagar (och här rullar arbetstidspengarna friskt) har inte passerat utan att vardagen i klassrummet har förändrats överhuvudtaget?

Det är dags att titta på resultatet, men på ett formativt och kreativt sätt!

Avprickande politiker

Politiker har med nödvändighet en förenklad bild av de områden de bestämmer över. Det är inte deras jobb att känna till de detaljer och metoder som styr hur en verksamhet fungerar. Det är då inte så konstigt att skolretoriken ligger på den nivå vi är vana vid. Det kanske inte ens är ett problem: när idéerna väl ska genomföras är det sakkunnigt folk som ska reda ut detaljerna.

Skolan kan inte både använda sig av forskningsbaserade metoder och syssla med avprickningsbedömning, eftersom forskningen har visat att det inte är ett bra sätt att lära. Det vet allt skolfolk (eller?). Därför har direktiven från politikerna modifierats så att skollagen ska undvika den motsättningen.

Men hur kommer det sig att avprickningssystemet kryper in i skolorna i alla fall? Hur kunde det bli så fel? När lärarna själva inte vill att kurserna ska fyllas av ideliga skriftliga prov? Besitter politiker en förmåga att krypa in i våra huvuden när vi sover?

Det finns flera exempel på att det här håller på att hända. Inte för att proven har varit helt borta någon gång, men nog har vi haft en ambition att bli bättre på att skapa bedömningsunderlag som samtidigt är formativa? Det finns faktiskt inget i Lgr/Gy-11 som tvingar skolorna till att återgå till provfokuseringen.

Genom att jobba från learning outcomes (resultatet av lärandet) är det enkelt att konstruera ett bedömningsunderlag som samtidigt blir en del av lärandet. Till exempel kan man utgå från verklighetslika situationer där kunskapen ska användas. Eleverna får sedan jobba mot en sådan situation (t ex en skriftlig/muntlig presentation, ett samtal eller en demonstration). På vägen mot målet får eleverna träna på de färdigheter som behövs, prova situationen och få feedback på hur den ska utvecklas.

Lämna debatten och lös problemen

Skoldebatten är polariserad. Å ena sidan har vi flumpedagogik och på den andra katederundervisning (se exempelvis den har artikeln från DN debatt). Medan jag har svårt att tänka mig att någon skulle välja att definiera sig själv utifrån något av de här epiteten så kvarstår det faktum att mycket av det som skrivs om skolan handlar om den här motsatsen. Och det gör mig så trött.

En debatt – som tyvärr fortfarande är den vanligaste formen att försöka ta fram hur vi ska jobba – är en teknik som går ut på att visa att man har rätt, och att de andra har fel. Eftersom man vill ha rätt läggs fokus på att försvara sig mot anklagelser samtidigt som man hittar på nya sätt att angripa motståndaren. Vad som inte görs är någon sorts självkritisk granskning eller försök att förstå hur den andra sidan tänker. Man letar helt enkelt inte efter nya sätt att lösa problem eller tar tillvara på olika erfarenheter.

Vad vi behöver göra istället är att träna vår förmåga att gå från metanivån ner till det dagliga arbetet och upp igen. Jag ska förklara vad jag menar: glöm vilket läger du tillhör och titta på metanivån. Vad är det vi vill uppnå i skolan? Skollagens första paragrafer är tjusiga och förhoppningsvis något som vi alla kan relatera till, men vad innebär de, mer konkret, på vår skola?

Låt oss säga att vi kommer fram till att det handlar om att öka andelen elever som går ut med fullständiga betyg (obs! detta är ett exempel). Vad innebär detta i praktiken? Vilka handlingar behöver vi göra för att nå dit? Hur, mer exakt, ska vi veta om det vi gör fungerar? Och vill vi använda oss av formativ bedömning för att ta reda på vad som fungerar så är väl formulerade learning outcomes ett givet redskap.

Varje sak du gör i skolan (oavsett din roll) ska gå att koppla till det övergripande målet. Fråga till exempel: på vilket sätt gör ett föräldramöte att fler elever får fullständiga betyg? På vilket sätt gör ett utvecklingssamtal med en lärare att fler elever…? På vilket sätt bidrar en bra skolmiljö till att fler elever…?

Ibland är det kanske svårt att hitta kopplingen – antalet led kan var många. Då ska man vara vaksam. Är leden många blir risken större att något går fel. Varje led har sina egna variabler som kan störa processen. Men det viktigaste är att vi har något mätbart som är tydligt kopplat till det vi vill åt (och man kan använda learning outcomes för utvecklingssamtal med personal också). Vi måste kunna prova nya saker och ta reda på om de fungerar, om resultatet förbättras.

Vi kan ta ett metaperspektiv på hur man tolkar resultaten  - det vill säga fundera över hur vi tolkar tolkningen (=det uppmätta resultatet). Man behöver ha med sig att många metoder tar ett tag innan de visar effekt och att det kan finnas speciella omständigheter som påverkar resultaten. Stora skillnader ska man givetvis ha respekt för (som 41% lärande vid föreläsning och 71% när eleverna själva var aktiva: exempel på detaljnivå). Men framför allt är det sällan de exakta resultaten som är viktigast (dvs om det är 84 eller 85 % som lär sig något: detaljnivå igen), utan vad vi kan lära oss av att reflektera över det som hänt (metanivå).

Den här metoden hämtar tankar både från ’flum’, som att visionen är viktig, och från ’katedern’ som att vi behöver mäta resultatet, men framför allt handlar det om att vi fokuserar på lösningar istället för att kasta paj på varandra. Och det som gör det möjligt är att vi hela tiden funderar hur det vi gör passar in i det stora sammanhanget, samtidigt som vi preciserar hur det stora sammanhanget kan beskrivas i de små händelserna. Förmågan att gå mellan hel och del, mellan motivation och handling, är något som alla, elever och vuxna, skulle tjäna på att lära sig.

Mobilerna tar över?

Kan det verkligen vara så att vi är så lättmanipulerade att det räcker med ett gilla på facebook för att vi ska känna oss mätta på bekräftelse från andra människor? Och därför bli mindre benägna att engagera oss i sociala projekt? Det påstår i alla fall forskaren Rosellina Ferraro som studerat hur tillgången till smarta mobiler påverkar hur hjälpsamma vi blir. Studenter som hade fri tillgång till mobilerna (och bekräftelsen) var t ex mindre benägna att hjälpa till i ett soppkök, än gruppen som endast fick kolla upp sitt facebook-konto då och då (via en stationär dator).

Vad innebär det här för mobilernas vara eller icke vara på lektionerna? Tja, det skulle kunna betyda att elever som får bekräftelse via mobilerna inte har samma behov av bekräftelse från de andra i klassrummet. Det blir då mindre viktigt att vara schysst mot sina klasskompisar eller göra något för att få beröm från läraren. Det blir ännu svårare att motivera eleverna att engagera sig i lektionen.

Då måste vi försöka hitta motivationen hos eleven själv. Och hur gör man det? Jag tror att det är dags att vi börjar prata enskilt med varje elev. Inte varje dag, men helst varje vecka, eller i alla fall oftare än två gånger per år (när utvecklingssamtalen sker under föräldrarnas uppsikt). Motivationen behöver nämligen hämtas i den unika världsbild varje person har (och detta gäller inte bara elever).

Många unga vet inte riktigt var de vill och varför de vill något, så initialt kräver den här typen av samtal mycket skicklighet och frågande tålamod från läraren. Eleverna har helt enkelt inte formulerat hur de ser på tillvaron, har inte ord att förklara sambanden mellan handlingar och inre övertygelse. Som tur är så kan man jobba med den typen av formuleringar i större grupper, t ex i samband med annat värdegrundsarbete. På så sätt skapar man ett bibliotek av uttryck och tankar.

När elever väl lärt sig att sätta ord på vad de vill uppnå, och får vana att sätta ihop kunskapsmål med detta, så går det ganska snabbt att hitta varje elevs egen motivation. Man kan tycka att det tar mycket tid om man ska förankra arbetet hos varje individ. Och det är helt sant – till en början. Men sedan vinner man tid. En elev som vet varför hon/han ska göra något jobbar mycket mer engagerat och säkert – och stör inte de andra eleverna.

Har man sedan konkretiserade delresultat (learning outcomes) så att eleven själv kan se sina framsteg, så tror jag att vi har något som mycket väl kan konkurrera med enkla bekräftelser som bara ligger ett par klickar bort. Ytters handlar det ju om att tillfredsställa oss själva, att jag ska tycka att jag är bra, och det kan aldrig ett gilla göra på samma sätt.

Och tänk om alla lärare också fick tid att formulera sin egen motivation för varje moment i vardagen, hur skulle det vara att jobba då?

Hattie's impact

När jag ser på rapports inslag med Hattie slås jag av två saker: dels hur han återkommer till lärarnas inverkan (impact) på eleverna, dels att han utgår från individerna. Det Hattie tycks mena med inverkan är ett mätbart utfall av lärandet, men definitivt inte som ’avprickningsprov’. Med andra ord ett learning outcome, dvs ett inlärningsresultat uttryckt som en aktiv handling eleven gör (se flik).

Hattie pratar om vad lärarna behöver för att bli riktigt bra, och menar att det inte är en allmän fortbildning i första hand, utan att de utvecklar sin förmåga att ha en inverkan på elevernas lärande. Och för att göra det behöver de veta vad som fungerar, något som säger hur bra varje insats har lyckats: learning outcomes. Ett korrekt formulerat learning outcome gör att man omedelbart kan se om eleven har nått fram. Om eleven till exempel förväntas kunna hålla en presentation på fem minuter om ett givet ämne, är det möjligt för vilken lärare som helst att bedöma om det gick eller inte. Och om det inte gick kan läraren prova en annan metod och snabbt få reda på om den fungerar bättre.

Hattie menar också att läraren behöver ha en inverkan på varje individ. Eftersom ett learning outcome alltid definieras utifrån något konkret som eleven förväntas ha lärt sig, kan man snabbt upptäcka om lärandet har lyckats för varje elev. Lägg märke till att det är skillnad på learning outcome (inlärningsresultat) och inlärningsmål. Ett mål kan uttryckas abstrakt (eleven ska kunna/förstå/ha förmågan att…) medan ett learning outcome alltid beskriver ett konkret utfall av det abstrakta.

Dessutom ska ett learning outcome vara så tydligt att även eleven själv kan inse att hon/han har nått fram. Och då har man ett av de nödvändiga redskapen för den självutvärdering som Hattie har visat är en av de mest effektiva metoderna för att öka lärandet.