En modell för att mäta och belöna progression inom sfi

2020 legitimerade och behöriga. KLIVA-utredningen (SOU 2020:66) bedömer samtidigt att behoven av kompetensutveckling är stor hos såväl behöriga som obehöriga lärare.

Ett stort problem för både kontroll och kvalitetsutveckling av sfi är att statistiken bedöms vara otillräcklig. Bristen på statistik innebär att det försvårar möjligheterna att följa upp sfi-verksamheterna så att de håller och utvecklar kvaliteten. Det hämmar också forskning som därmed inte systematiskt kan undersöka vilka insatser som verkligen fungerar. Utredningen vill också framhålla att det i dag saknas ett oberoende, likvärdigt mått på elevers språkkunskaper inom sfi.

På senare tid har också bristen på kontinuitet beskrivits som ett problem för god skolutveckling. Andelen komvuxelever hos kontrakterade anordnare har ökat kraftigt under de senaste tjugo åren (Fejes och Holmqvist 2019) och har fördubblats under en tioårsperiod. Fejes och Holmqvist (2019) beskriver i sin forskning att kontrakten mellan kommuner och upphandlade anordnare ofta är korta, ibland så korta som två–tre år. De menar att detta skapar instabilitet för verksamheterna, personalen och eleverna. Med så pass korta kontrakt finns mindre benägenhet att investera i kompetensutveckling av personal eller planera långsiktigt då de inte vet hur länge de får fortsätta sin verksamhet. Samtidigt gör det kontinuerliga antagningen av elever i sfi att verksamheten kan upplevas som ryckig. Kommuner gör antagning mellan en gång i månaden till så ofta som en gång i veckan i vissa fall.

Det finns även dokumenterade brister i huvudmännens systematiska kvalitetsarbete gällande komvux i stort. Bristerna i det systematiska kvalitetsarbetet är en av anledningarna till en förändring i Skolinspektionens instruktion. Inspektionen ska från 1 januari 2022 utföra löpande tillsyn av vuxenutbildning även på skolnivå, oavsett om utbildningen bedrivs av en kommun eller av en upphandlad entreprenör (2 § förordning (2011:556) med instruktion för Statens skolinspektion).

De problem som lyfts har inte bara en lösning. Förslaget som utredningen föreslår kan vara del att öka kvaliteten inom sfi.

Utredningens förslag i korthet

Progressionstest med delvis automatiserad bedömning

Utredningen föreslår att ett nytt bedömningsinstrument utvecklas som kan användas som såväl progressionstest som lärverktyg. Utredningen visar att det är möjligt att utforma bedömningsinstrumentet och koppla det till automatiserad bedömning av språkfärdigheter på många områden, dock inte för alla. Eftersom den digitala kompetensen varierar bland sfi-elever och i många fall kan vara låg måste progressionstestet kombineras med ett digitalt lärverktyg. Detta för att eleverna ska få möjlighet att bekanta sig med det digitala formatet. Det är elevens språkliga förmågor som ska testas i progressionstestet och inte digital förmåga. Förutom att eleverna utvecklar sin digitala förmåga så ger lärverktyget eleverna möjlighet att redan tidigt i utbildning, på ett odramatiskt sätt och långt före det aktuella testtillfället vänja sig vid testets uppbyggnad och genomförande. Eftersom lärverktyget också är uppbyggt delvis adaptivt och inte avser att mäta mot ett specifikt kunskapskrav eller liknande så kan även progression från en låg språklig nivå synliggöras. Det är utredningens ambition att lärverktyget ska ge eleven möjlighet att följa den egna progressionen och därmed också ge eleven direkt nytta. Utredningen kan därför inte nog betona vikten av att träna i en testliknande situation för att kunna uppnå syftet med att mäta språkprogression. Vidare ger teknologin med ett lärverktyg stora möjligheter att i framtiden grupp- och individanpassa moduler som direkt kan svara mot inlärningsbehov hos eleverna. För att sammanfatta så är lärverktyget nödvändigt för progressionsbedömning och medför ett stort mervärde till en låg merkostnad. Anpassningar av både test och bedömning måste göras för elever som går kurs 1A för att testet ska kunna testa språkförmågor.

Progressionstestet föreslås vara obligatoriskt att delta i för alla sfi-elever. Rektor kan dock besluta att en elev inte behöver delta i ett progressionstest eller i någon eller några delar av ett sådant test, om det finns särskilda skäl. Alla elever gör delproven i hörförståelse, läsförståelse och skriftlig färdighet när de av lärare bedöms vara nära kursavslut. En representativ grupp av elever per utbildningsanordnare väljs ut för att göra det muntliga provet, där tekniken ännu inte är tillräckligt mogen för adekvat automatisk bedömning.

Bedömningscentrum

Utredningen föreslår att ett bedömningscentrum som ansvarar för framtagning och utveckling av bedömningsinstrumentet inrättas vid lämpligt lärosäte. Utredningen förordar Stockholms universitet. Där finns betydelsefull kompetens på plats som också kan ge upphov till synergieffekter genom Nationellt centrum för svenska som andraspråk och provgruppen för nationella prov vid Institutionen för ämnesdidaktik. Dessutom finns kompetens för automatiserad bedömning vid Institutionen för lingvistik. Att knyta bedömningscentrumet till en universitetsmiljö har stora fördelar då progressionstestet till stora delar bygger på kunskaper som är att beteckna som forskningsfront. Det ger enorma möjligheter till forskning om sfi och automatiserad bedömning. Forskning om vuxenutbildning och i synnerhet sfi har pekats ut som underdimensionerad.

Huvudmannen ansvarar för progressionstestet men lärare bestämmer när eleven ska göra testet

Huvudmannen för utbildningen ska ansvara för att progressionstest genomförs. En bestämmelse om detta ska införas i skollagen. För det fall kommunen har sfi-utbildningen på entreprenad så är det fortfarande huvudmannen som ansvarar för genomförandet av progressionstestet.

Utredningen anser att det är lämpligast att ge Skolverket ett bemyndigande, i likhet med att Universitets- och högskolerådet har bemyndigande att meddela ytterligare föreskrifter om högskoleprovet, att meddela de föreskrifter om progressionstest som behövs för att få ett rättssäkert genomförande och för att säkerställa likabehandling. Saker som utredningen har identifierat som väsentliga för att tillgodose testets oberoende är:

– en lokal med nödvändig infrastruktur såsom hörlurar, dator eller ipad, tangentbord och mikrofon samt möjlighet för elever att sitta relativt avskärmat/ostört för att kunna genomföra testet,

– en oberoende testledare som ska genomföra en identitetskontroll av eleven, vara behjälplig med viss datorkompetens under testets gång samt övervaka att testet genomförs på ett korrekt sätt, och

Progressionstestet ska genomföras när läraren bedömer att eleven är nära kursavslut. Resultatet av progressionstestet tjänar också som ingångsvärde i nästa kurs. Till exempel kan en elev skriva progressionstestet i slutet av kurs B studieväg 2 (2B), som sedan jämförs med elevens resultat på testet i slutet av 2C. På så vis kan progression mätas. Elever som inte har genomfört testet ska ges värde noll om de tillhör en grupp som borde ha genomfört testet och rektor inte har beslutat om undantag med anledning av särskilda skäl. Eftersom progressionstestets resultat också är ingångsvärde för nästa kurs måste denna grupp särskiljas i den statistiska analysen av vidare progression.

Mervärdesmodell

För att åstadkomma en legitim ersättningsmodell som följer direktivets andemening föreslås en mervärdesmodell. En mervärdesmodell skapar ett justerat kunskapsmått som mäter en utbildningsanordnares bidrag till språkprogressionen givet en viss sammansättning av elever och andra omständigheter utanför utbildningsanordnarens kontroll. Syftet med justerade mått eller mervärdesmått är att med hjälp av statistiska modeller skatta en viss utbildningsanordnares bidrag till kunskapsresultaten genom att justera för faktorer utanför utbildningsanordnarens kontroll. Målet är att få ett mått som jämför äpplen med äpplen.

Utredningen förslår en modell som i största möjliga mån tar hänsyn till de riskfaktorer som kan tänkas störa en rättvis jämförelse.

I konstruktionen av modellen tas hänsyn till faktorer som utbildningsanordnare inte kan påverka, manipulation av utfallsmått, manipulation av ingångsvärden, ”cream skimming” och urvalsmanipulation. Mervärdesmodellen ger stora möjligheter att kunna använda resultatet i utvärdering nationellt, men framför allt i det lokala systematiska kvalitetsarbetet samt för forskningen. Statistiska centralbyrån (SCB) föreslås ansvara för mervärdeskattningen årligen. Den statistik som huvudmännen ska rapportera in till SCB föreslås utökas med ytterligare uppgifter om kombinationsutbildning. Merparten av de variabler som behövs för mervärdesmodellen samlas redan in i dagsläget.

Ersättningsmodell

Ersättningen, kallad sfi-peng, föreslås betalas ut utöver befintlig finansiering av sfi. Utredningen föreslår att potten för den rörliga ersättningen ska motsvara en (1) procent av de totala kostnaderna för sfi-utbildning i riket. SCB ska lämna prognoser till Utbildningsdepartementet för de totala kostnaderna för sfi i riket. Prognosen ska lämnas under våren och avse innevarande år. SCB ska också meddela vad den faktiska kostnaden för föregående år blev så att potten de facto motsvarar en (1) procent av de totala kostnaderna för riket. Den rörliga ersättningen betalas ut i efterskott när mervärdena är kända.

Den rörliga ersättningen bestäms av en anordnares position i rankingen som mervärden ger upphov till. En utbildningsanordnare som har ett högre mervärde ska få minst lika mycket ersättning än en utbildningsanordnare som har ett lägre mervärde per heltidsstuderande elev. Utredningen föreslår en ersättningsmodell som innebär att starkast incitament till förbättring ges till utbildningsanordnare med låga mervärden, men att ersättningen per heltidsstuderande elev ändå är högre men konstant för anordnare med höga mervärden.

SCB föreslås ta fram den exakta specifikationen för mervärdesmodellen i samråd med Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU). SCB utför och rapporterar analys, beräknar fördelningen och sammanfattar nödvändig information som sedan skickas till Skolverket.

Ersättningen, den så kallade sfi-pengen, ska betalas ut till utbildningsanordnarna genom ett statsbidrag. Statsbidraget baseras på resultatet från progressionstestet efter att det har justerats utifrån mervärdesmodellen. Utbildningsanordnarna ska använda bidraget till insatser de själva har identifierat kan öka elevernas måluppfyllelse. Statsbidraget ska ha ett rekvireringsförfarande och Skolverket föreslås administrera statsbidraget. Skolverket föreslås även följa upp och utvärdera ersättningens effekter på verksamheterna.

Implementering i tre faser: Uppbyggnad av bedömningsinstrument, försöksverksamhet och utvärderingsperiod samt fullt genomförande

Implementering av systemet har tre faser bestående av uppbyggnad av bedömningsinstrument vilket föreslås ske under åren 2023–2024, försöksverksamhet och utvärderingsperiod under åren 2025–2027, samt ett fullt genomförande från 2028 om utvärderingen faller ut väl. Ett bedömningscentrum föreslås inrättas på Stockholms universitet eller annat lämpligt lärosäte för att utforma bedömningsinstrumentet och lärverktyget. Försöksverksamhet pågå föreslås pågå de två efterföljande åren med kring 50 deltagande huvudmän och cirka 100 verksamheter där ett urval av elever gör progressionstestet. Vidare föreslår utredningen en avslutande utvärdering halvåret efter att försöksverksamheten har avslutats.

IFAU föreslås ansvara för att bestämma den exakta utvärderingsdesignen och planera försöksverksamheten i samråd med SCB och bedömningscentrumet. Den del av utvärderingen som rör test- och bedömningskvalitet och kvalitativ utvärdering föreslås bedömningscentrumet ansvara för. Dock ska både IFAU och bedömningscentrum delge och ha en dialog med varandra kring respektive utvärdering så att synergieffekter tas tillvara.

Hur kan en modell som mäter och belönar progression bidra till att avhjälpa identifierade brister inom sfi?

I avsnittet Problembild ovan redogjorde vi för konstaterade problemområden inom sfi. Nedan sammanfattar utredningen hur vårt förslag kan hjälpa till att lösa delar av dessa problem.

Utredningens förslag av ett oberoende nationellt likvärdigt mått svarar direkt mot kritiken som framförts om bristande systematiskt kvalitetsarbete. Måttet som tas fram gör att man kan jämföra resultaten mellan anordnare och olika kommuner och då kan tjäna som del i underlag för kommunernas systematiska kvalitetsarbete. Ett sådant mått saknas i dag och har påpekats till exempel av Tillitsdelegationen att vara av vikt för effektiv styrning (SOU 2017:56). När ett oberoende nationellt likvärdigt mått finns kan man också i nästa steg börja undersöka vilka insatsfaktorer som skapar ett högt mervärde, se till exempel SOU 2019:40. Ökad vetskap om vilka insatsfaktorer som skapar god utbildning kan sedan användas i utvecklingsarbetet och vid eventuellt anbudsförfarandet. På så sätt kommer framtagandet av ett oberoende nationellt likvärdigt mått kunna förbättra måluppfyllelse och öka genomströmning. Vidare betalas sfipengen ut i form av ett statsbidrag. Statsbidraget lämnas till utbildningsanordnare för kvalitetshöjande insatser som syftar till att stärka den kommunikativa språkförmågan hos elever inom sfi. Utredningen ser att arbetet med att identifiera kvalitetshöjande insatser är, om inte samma sak, så i alla fall tätt sammankopplat med det systematiska kvalitetsarbetet. Något som gynnar utvecklingen av utbildningen och undervisningen och därmed också elevernas språkutveckling.

Eftersom utredningen identifierat att progressionstestet inte är möjlig att genomföra utan digital träning och förberedelse föreslås bedömningsinstrumentet innehålla både ett progressionstest och ett lärverktyg. Lärverktyget kan på sikt också utvecklas till att svara mot den heterogena målgruppen och både individ- och gruppanpassas. Till exempel kan moduler passande för vissa kombinationsutbildningar utvecklas. Försök med denna typ av anpassningar har redan prövats av Helsingborgs stad. Lärverktyget kan, som tidigare nämnts, också är synliggöra progression även vid en låg språklig nivå, vilket utredningen anser vara av vikt för eleverna.

I och med att utredningen förslår ett forskningsnära bedömningscentrum kommer också testkonstruktion och bedömning utgå ifrån den främsta expertisen på området. Forskning inom vuxenutbildning i allmänhet och sfi i synnerhet är underdimensionerad. Möjligheterna för forskningspotential med hjälp av datamängden kan inte underdrivas. Framtida teknologiska framsteg kan också ge möjligheter att utveckla talrobotar och automatiska system för bedömning av muntlig förmåga. Det skulle onekligen ha ett enormt värde för samhället. Datamängden som skapas och kan användas för forskning i detta system är av en helt annan skala än den som finns tillgängligt för forskning i dag. Den bör ge synergier för bedömningar även i andra ämnen även om den främst gagnar forskning och bedömning av språk. Bedömningscentrumet kan därmed ge samhällsnytta utöver den nytta det skapar för att förbättra sfi-verksamheterna i Sverige. Forskningen, kompetensen och erfarenheterna från det föreslagna bedömningscentrumet kan också bidra till att utveckla bedömningskompetens och kompetensutveckling hos lärare och annan personal inom sfi.

Slutligen föreslår utredningen en ersättningsmodell som skapar incitament till förbättring. Stor vikt i den föreslagna ersättningsmodellen har lagts vid att skapa en modell som är robust mot manipulation enligt direktivets riktlinjer. Utredningen föreslår en modell som tar sin utgångspunkt i mervärden. Olika utbildningsanordnares mervärden bygger på en analys där faktorer som ligger utanför utbildningsanordnaren kontroll i möjligaste mån tas hänsyn till, så att päron jämförs med päron. En rörlig ekonomisk ersättning kommer att fördelas mellan anordnare, där ett högre mervärde ger minst lika hög ersättning som ett lägre, per heltidselev. Utredningen föreslår också att det ekonomiska incitamentet till förbättring är som starkast hos de utbildningsanordnare som har låga mervärden. Den rörliga ersättningen föreslås ligga i det nedre spannet jämfört med vad som används internationellt inom skolområdet eller inom svensk sjukvård. Ersättningen kan ändå vara styrande eftersom marginalerna i verksamheterna är låga.