Limburgse leerlingen op de basisschool ten tijde van corona

Deel 2 – Technisch lezen

Vooraf

In het voorjaar van 2020 waren basisscholen als gevolg van de coronacrisis een tijd gesloten en moesten leerlingen thuis hun schoolwerk doen en kregen ze online les. Een belangrijke vraag is in hoeverre dat invloed heeft gehad op hun leerprestaties. Samen met de Limburgse basisscholen willen we hier, met behulp van de OnderwijsMonitor Limburg (OML), zicht op krijgen. De resultaten van dit onderzoek worden gepresenteerd in een reeks factsheets. Deze zijn te vinden op educatieveagendalimburg.nl.  

In dit tweede deel gaan we in op de toetsresultaten voor de Drie Minuten Test (DMT). De DMT is een toets waarbij leerlingen een lijst krijgen met woorden en deze moeten voorlezen. Bekeken wordt dan hoeveel woorden ze in drie minuten voorlezen. De toets meet een aspect van technisch lezen. De factsheet is hier als pdf te downloaden.

Resultaten “technisch lezen” in het kort

• De afname van de DMT-toets voor technisch lezen is in mei en juni 2020 met ongeveer de helft gedaald ten opzichte van 2019.
• De toets wordt in 2020 gemiddeld twee weken later afgenomen dan in 2019.
• Voor groep 3 t/m 7 is het effect van de lockdown op technisch lezen geschat. In al deze groepen is er sprake van een significante daling van de toetsresultaten.
• Deze daling het grootst in groep 3. Naarmate de groep hoger wordt, daalt het negatieve effect van de lockdown over het algemeen.

Hoeveel is getoetst?

Tabel 1 laat zien bij welk deel van de leerlingen de DMT in mei of juni wordt afgenomen in de verschillende groepen in 2019 en 2020. Deze toets wordt vooral afgenomen in de groepen 3 t/m 7. In groep 3 en 4 lag in 2019 de afname rond de 90%. In groep 5 en 6 boven de 80% en in groep 7 werd deze afgenomen bij ruim driekwart van de leerlingen.

In 2020 daalt de afname fors, maar is in vergelijking met andere toetsen nog hoog (zie deel 1 van deze reeks factsheets). In groep 3 en 4 halveert de afname ongeveer en in groep 4, 5 en 6 daalt de afname nog iets meer. Voor alle groepen bij elkaar daalt de afname van 58,9% naar 27,9%. In 2020 wordt in mei en juni dus 47,4% van het aantal leerlingen in 2019 getoetst.

Tabel 1: Percentage leerlingen dat per groep de DMT deed

In mei en juni 2020 is de DMT, vanwege de lockdown, later afgenomen dan in 2019. Figuur 1 laat dit zien. De piek in de afname verschuift van de 22-ste naar de 24-ste week van het jaar. In principe kan een verschuiving in de afnameweek invloed hebben op de toetsscore. De leerlingen hebben immers twee weken langer oefening gehad kunnen hebben. Het is echter lastig om hiervoor te corrigeren. Een idee zou zijn om te kijken hoe in ‘normale’ jaren de toetsscore verschilt tussen leerlingen die vroeg en laat worden getoetst. Het is echter zo dat leerkrachten de toets vaak wat later afnemen bij leerlingen die minder goed scoren. Hierdoor is deze correctie niet mogelijk.

Figuur 1: Week waarin de DMT is afgenomen

Werkwijze

We illustreren onze werkwijze in de analyses aan de hand van de DMT-afname in groep 4. Omdat het de afname aan het eind van groep 4 betreft wordt deze aangeduid met E4. Eerder in het jaar hebben veel leerlingen al een vergelijkbare toets afgenomen in januari of februari. Omdat dat het midden van het jaar is, wordt deze aangeduid met M4. In mei en juni van het jaar ervoor hebben deze leerlingen E3 gemaakt (einde groep 3). We willen de score die een leerling behaalt in E4 vergelijken met een eerdere score van die leerling.

Omdat in 2020 een groot deel van de leerlingen niet getoetst wordt, moet dit voorzichtig gebeuren. Uit onze analyses blijkt dat als een leerling in 2020 voor M4 lager scoort dan op basis van E3 verwacht kon worden, de leerkracht in 2020 eerder geneigd is om in mei en juni E4 af te nemen. In 2019 was van zo’n selectiviteit geen sprake, waardoor leerlingen die in 2020 in mei of juni worden getoetst in vergelijking met M4 opvallend goed lijken te scoren. Om dit selectieprobleem uit te sluiten vergelijken we de toetsscore van E4 met de resultaten van de leerlingen bij E3. Figuur 3 aan het einde van deze factsheet laat voor alle groepen zien welke leerlingen met name worden getoetst. Links staan de 10% leerlingen die het slechtst scoorden in het voorafgaande jaar. Rechts de 10% die het beste scoorde. Figuur 3 laat zien dat er een lichte neiging is om lager scorende leerlingen meer te toetsen voor E4 in 2020.

Er zijn twee versies van de DMT in gebruik bij de scholen. Dat zijn de 2009- en de 2018-versie. Figuur 2 laat voor beide versies zien hoe de score van leerlingen op E4 gemiddeld samenhangt met de score op E3. Het patroon is redelijk vergelijkbaar voor beide versies, maar toch niet helemaal hetzelfde. Daarom gebruiken we in de analyse voor deze factsheet alleen waarnemingen waarbij in beide jaren eenzelfde versie is gebruikt. In het overgrote deel van de gevallen is dat zo.

Figuur 2: gemiddeld verband tussen DMT E3 en DMT E4 voor de 2009- en 2018-versie van de toets

Figuur 2 laat zien dat de stijging in scores bij de DMT het grootst is bij de leerlingen die bij E3 laag scoorden. P10 is de score van de leerling die beter was dan 10% van alle leerlingen. P25 is de score van de leerling die beter was dan 25% van alle leerlingen, enz. Tussen p25 en p50 neemt de toename van de toetsscore af.

Met de geschatte curves kan voor leerlingen in 2020 worden ingeschat welke toetsresultaten onder normale omstandigheden verwacht zouden worden. Het verschil tussen de scores die de leerlingen naar verwachting in 2019 zouden hebben behaald en de scores die ze in 2020 hebben behaald geeft een indicatie van de impact van de lockdown op de leerprestaties. 

Gemiddeld genomen is deze score in 2020 2,815 lager dan in 2019. Er zijn twee manieren waarop de omvang van deze daling kan worden bekeken. In de eerste plaats zijn de scores van Cito voor de DMT een zogenaamde vaardigheidsscore waarmee de vooruitgang van leerlingen over de jaren heen kan worden gevolgd. Gemiddeld genomen gaan leerlingen van 33,5 bij E3 naar 60,2 bij E4. Dat betekent dat de opgelopen achterstand 2.815/(60,2-33,5) = 10,5% van de gemiddelde jaargroei is. Rekening houdend met twee maanden vakantie per jaar, zou dat dus ongeveer een maand achterstand betekenen. Daar komt nog bij dat de toets in 2020 gemiddeld twee weken later is afgenomen. Als dat ook wordt meegerekend is de achterstand anderhalve maand.

Een meer gebruikelijke manier om de invloed van de lockdown te duiden is de zogenaamde effect size. Hierbij wordt de daling in de toetsscore vergeleken met de spreiding van de score onder leerlingen. De spreiding wordt uitgedrukt als standaarddeviatie en is voor E4 19,3. De daling is dus 2,815 /19,3 = 14,6% van een standaarddeviatie. Ook dit is een substantieel verschil. Ter vergelijking, als op de eindtoets basisonderwijs alle leerlingen 14,6% van een standaarddeviatie lager zouden scoren dan zouden, als de eindtoets het uitgangspunt is voor de plaatsing van leerlingen. 4,4% minder leerlingen naar het vwo gaan en 5,9% meer leerlingen naar het vmbo.

Het verschil in de daling van de toetsscore hoeft uiteraard niet gelijk te zijn voor alle leerlingen. De schattingen later echter zien dat er geen noemenswaardige verschillen zijn in de daling tussen leerlingen die laag of hoog scoorden op E3.

Ook in eerdere jaren worden soms verschuivingen in de toetsscores gevonden. Echter deze zijn nooit zo groot als die we in 2020 zien. De schattingen in deze factsheet gaan er dus vanuit dat er naast de lockdown geen andere invloeden op de leerprestaties van leerlingen zijn geweest, maar tot op zekere hoogte kan dit wel het geval zijn geweest.

Werkwijze

Tabel 2 laat vergelijkbare cijfers zien voor alle groepen. In de eerste kolom staat de gemiddelde score in de betreffende groep. In de tweede kolom de standaarddeviatie. In de derde kolom is de gemiddelde daling van de score in 2020 ten opzichte van 2019 opgenomen. De geschatte daling is in alle gevallen significant. Vervolgens wordt in de vierde kolom aangegeven hoe groot deze daling is ten opzichte van de gemiddelde groei van leerlingen. Vervolgens wordt de daling in toetsscore weergegeven als percentage van de standaarddeviatie. In de gevallen dat er een significant verschil is tussen leerlingen die in eerdere jaren minder of juist beter dan het gemiddelde scoorden is ook aangegeven wat volgens de schattingen de daling als percentage van de standaarddeviatie is voor p25 en p75.

Omdat voor groep 3 geen DMT-score in groep 2 bekend is, is deze analyse uitgevoerd met de toets taal voor kleuters E2. Ook kan de gemiddelde groei van de DMT-score voor leerlingen in groep 3 niet worden vastgesteld.

Het effect van de lockdown (als percentage van de standaarddeviatie) is het grootst in groep 3. De tabel laat zien dat in grote lijnen sprake is van een daling van dit effect. Alleen in groep 6 is het geschatte effect kleiner dan in groep 7. Alleen in groep 3 en groep 7 is er een significant verschil tussen hoger en lager scorende leerlingen. In beide gevallen is de terugval in de toetsscores groter voor de beter presterende leerlingen. Gemeten als percentage van de groei tussen twee jaren, neemt het effect van de lockdown niet systematisch af. De daling in de toetsscore neemt weliswaar af, maar ook de groei per jaar neemt geleidelijk af, omdat leerlingen de sterkste groei voor technisch lezen doormaken in de lagere groepen van de basisschool.   

Tabel 2: Effect van lockdown op toetsscores DMT voor groep 3 tot en met 7

Figuur 3: Fractie van de leerlingen die zijn getoetst voor DMT per deciel op basis van de toetsscore in het voorgaande jaar

Colofon

Dit onderzoek is uitgevoerd door Olga Meshcheriakova, Lex Borghans, Raoul Haenbeukers en Trudie Schils. Voor informatie kunt u terecht bij Lex Borghans: lex.borghans@maastrichtuniversity.nl.

Voor het onderzoek is gebruik gemaakt van data uit de OnderwijsMonitor Limburg. Deze is onderdeel van de Educatieve Agenda Limburg, een samenwerking tussen Universiteit Maastricht, Open Universiteit, Zuyd Hogeschool, Fontys Hogeschool, de Limburgse mbo-instellingen, schoolbesturen in het primair en voortgezet onderwijs, en de Provincie Limburg.

Voor de OnderwijsMonitor Limburg verzamelen we elk jaar de toetsgegevens van Limburgse leerlingen op de basisschool. Dit jaar hebben we dit vroeger gedaan dan normaal om tijdig analyses te kunnen verrichten. Wij willen hierbij alle deelnemende scholen bedanken dat ze mee hebben gewerkt om nog voor de zomervakantie de gegevens aan te leveren. Op deze manier krijgen we inzicht in wat er nodig is om de juiste ondersteuning op te zetten in de komende maanden.

Eerdere factsheets in deze reeks:

Deel 1 - Inleiding

© November 2020. Universiteit Maastricht, School of Business and Economics, Department of Macro International and Labour Economics (MILE). Niets uit deze uitgave mag op enige manier worden verveelvoudigd zonder voorafgaande schriftelijke toestemming van de auteurs.