Meetfout in de relatie tussen opleidingsniveau ouders, citoscore en schooladvies

Ron Diris en Lex Borghans | 17 January 2017


Toetsen geven belangrijke informatie over het prestatieniveau van leerlingen op een bepaald gebied. Zij zijn daarmee een belangrijk instrument om informatie over leerlingen te vergaren en daar in het leerproces op bij te sturen. Tegelijkertijd is geen enkele toets een perfecte maat is van het niveau van de leerling, omdat elke toets een ‘meetfout’ bevat. In deze analyse laten we zien hoe meetfout een rol kan spelen wanneer we leerlingen met dezelfde toetsprestaties vergelijken, en hoe we ervoor kunnen corrigeren.

Wat is meetfout?

De prestaties van een leerling op een toets is nooit een perfecte maatstaf van het niveau van die leerling. Elke toetsscore bevat een soort van ‘toevalsfactor’, die reflecteert of een leerling net een goede of een slechte dag had, of dat er verstorende toetsomstandigheden waren etc. Die toevalsfactor noemen we meetfout. Vanwege het bestaan van meetfout is, bijvoorbeeld, een citoscore geen perfecte maat van het niveau van de leerling, en daarom is het vergelijken van leerlingen met dezelfde citoscore ook niet voldoende om te zeggen dat je als onderzoeker studenten met hetzelfde ‘talent’ of potentieel aan het vergelijken bent. In de discussie rond de analyse in het Inspectierapport ‘De Staat van het Onderwijs 2014/2015’ over de invloed van het opleidingsniveau van de ouders op het advies voor leerlingen met dezelfde citoscore wordt bijvoorbeeld, impliciet of expliciet, vaak wel aangenomen dat dit het geval is. In een andere analyse voeren we de analyse van de Inspectie uit op onze Limburgse data van de OnderwijsMonitor Limburg.

De rol van meetfout is belangrijk in analyses die leerlingen van verschillende achtergrond met dezelfde toetsprestaties vergelijken, omdat verwacht mag worden dat het leidt tot een overschatting van het effect van die achtergrond. Dit principe wordt aangetoond in Figuur 1. Deze figuur laat de verdeling van IQ scores zien voor leerlingen met hoog opgeleide en leerlingen met laag opgeleide ouders. Gemiddeld gezien presteert de eerstgenoemde groep beter. Als we nu kijken naar waar er overlap is in scores tussen beide groepen, dan zullen we zien dat er in dat gedeelte van de distributie bij kinderen van laagopgeleide ouders vaker een hoge uitbijter bij zit terwijl er bij kinderen van hoogopgeleide ouders vaker een ‘toevallig’ lage score bij zit. Wanneer we beide leerlingen nog een keer zouden testen, zouden we zien dat de leerlingen met hoog opgeleide ouders gemiddeld hoger scoren op de nieuwe test.

Figuur 1: Distributie van IQ scores naar opleiding van de ouders
Figuur 1: Distributie van IQ scores naar opleiding van de ouders

Noot: SES staat voor ‘sociaal-economische achtergrond’ en wordt gemeten door het opleidingsniveau van de ouders.

Figuur 1 is gebaseerd op de distributie voor IQ-scores, maar voor citoscores geldt hetzelfde. Dit impliceert dat het potentieel van de leerlingen die we vergelijken toch niet helemaal hetzelfde is; de HO-leerlingen hebben, gemiddeld gezien, een hoger niveau zelfs als ze dezelfde citoscore hebben, omdat die score dat niveau niet perfect oppikt. Het feit dat HO-leerlingen gemiddeld een hoger advies krijgen voor dezelfde citoscore zou daarmee, in ieder geval voor een deel, een reflectie kunnen zijn van deze meetfout op de citoscore.

Corrigeren voor meetfout

We analyseren nu hoe groot de rol van meetfout precies is in dit soort analyses. We gebruiken hiervoor data van de OnderwijsMonitor Limburg [OML]. Gebruik makend van deze data corrigeren we voor meetfout in de citoscore. Deze correctie kan uitgevoerd worden door middel van twee verschillende statistische methodes, die beide informatie uit de subscores van de citotoets (scores voor de onderdelen taal, rekenen en informatieverwerking) gebruiken om te corrigeren voor meetfout in de totale citoscore. Instrumental variable estimation (IV) is een methode waarbij één van de subscores voorspeld wordt door de andere subscores. Aangezien er voor cito drie subscores zijn, zijn er ook drie manieren om dit model te schatten, afhankelijk van welke van de drie subscores we laten voorspellen door de andere twee. Structural Equation Modelling (SEM) is een alternatieve methode, die uit de drie subscores één onderliggende ‘latente’ variabele laat voorspellen. Voor het SEM model treden alle drie de subscores ‘gezamenlijk’ op als voorspeller en daarom is er daar maar één variant.


In tabellen 1 tot en met 3 zien we een vergelijking tussen een simpel model dat niet corrigeert voor meetfout (een zogenaamd ‘OLS’ model) en het IV en SEM model (die beiden wel corrigeren voor meetfout, maar dus op iets andere wijze). In de drie tabellen variëren we hoe het opleidingsniveau van de ouders precies gemeten wordt. In Tabel 1 gebruiken we een indicator voor het hebben van laag opgeleide ouders; in Tabel 2 gebruiken we een indicator voor het hebben van hoog opgeleide ouders; en in Tabel 3 gebruiken we een continue indicator van opleidingsniveau van de ouders op een schaal van 1-4.1 De coëfficiënten in Tabel 1 en 2 reflecteren het effect van het hebben van laag opgeleide dan wel hoog opgeleide ouders op het gegeven advies, relatief aan het hebben van gemiddeld opgeleide ouders, voor leerlingen met dezelfde citoscore.2 De effecten in Tabel 3 reflecteren de impact van een toename van het opleidingsniveau van de ouders van één niveau op deze schaal. Een coëfficiënt van bijvoorbeeld -0.158 voor het OLS model in Tabel 1 betekent dat het gegeven advies voor de LO-leerling 0.158 lager ligt dan voor een leerling met gemiddeld opgeleide ouders die dezelfde citoscore heeft.3 De coëfficiënten voor de IV en SEM modellen kunnen geïnterpreteerd worden als het verschil in advies naar opleidingsniveau voor leerlingen met exact hetzelfde ‘niveau’ op de onderwerpen die in de toets aan bod komen (de meetfout is immers gecorrigeerd).4

 

Tabel 1: cito advies en SES: lage opleiding

Noot: Coëfficiënten meten de relatie tussen het hebben van ouders met een lage opleiding en het schooladvies, gecontroleerd voor de gegeven citoscore. In het IV en SEM model wordt er voor meetfout in deze scores gecontroleerd.

Tabel 2: cito, advies en SES: hoge opleiding

Noot: Coëfficiënten meten de relatie tussen het hebben van ouders met een hoge opleiding en het schooladvies, gecontroleerd voor de gegeven citoscore. In het IV en SEM model wordt er voor meetfout in deze scores gecontroleerd.

Tabel 3: cito, advies en SES: continue variabele

Noot: Coëfficiënten meten de relatie tussen het opleidingsniveau van de ouders (gemeten op een schaal van 1 tot 4)en het schooladvies, gecontroleerd voor de gegeven citoscore. In het IV en SEM model wordt er voor meetfout in deze scores gecontroleerd.

De tabellen laten zien dat het corrigeren voor meetfout wel degelijk uitmaakt. Als we de gecorrigeerde resultaten vergelijken met het simpele model dat controleert voor de algemene citoscore, dan neemt de coëfficiënt met ongeveer 50% af. De mate van afname is vergelijkbaar over de drie uitkomstvariabelen. Er treden wel verschillen op afhankelijk van hoe de correctie exact wordt uitgevoerd. Voor het IV model maakt het uit welke subscore voorspeld wordt en welke als voorspellers optreden. Voor het SEM-model is er maar één variant. De resultaten van dit model zijn ruwweg een gemiddelde van de resultaten van de verschillende IV-modellen.

Conclusie

De aanwezigheid van meetfout in toetsscores is een belangrijke kwestie. Analyses die controleren voor toetsscores om daarmee het prestatieniveau van leerlingen gelijk te trekken, moeten zich ervan bewust zijn dat die vergelijking imperfect is als er niet voor meetfout gecorrigeerd wordt. We hebben laten zien dat het corrigeren voor meetfout een duidelijk verschil maakt als we de schooladviezen van leerlingen met eenzelfde prestatieniveau maar met een verschillend opleidingsniveau van hun ouders vergelijken. De impact van de opleiding van de ouders halveert wanneer we hierbij de citoscore voor meetfout corrigeren. Niettemin blijft overeind dat er verschillen zijn in de uitgedeelde adviezen voor leerlingen met dezelfde citoscore afhankelijk van de opleiding van de ouders.

 

Noten

1Hierbij komt categorie 1 overeen met lage opleiding en categorieën 4 en 5 met hoge opleiding.

2De schattingen voor Tabel 1 en 2 komen uit dezelfde regressie, waarin we beide indicatoren tegelijkertijd opnemen. De schattingen voor Tabel 3 komen uit een aparte regressie waarin we alleen de categoriale indicator opnemen.

3Het advies is uitgedrukt op een schaal van 1 tot 5. Meer uitleg over deze schaal is [hier] te vinden. Een afname van 0.158 op deze schaal is equivalent aan een 15.8% hogere kans om één niveau lager geplaatst te worden.

4 De leerlingen kunnen dus nog steeds verschillen op onderwerpen die niet door de citotoets getest worden, inclusief bijvoorbeeld non-cognitieve vaardigheden. In een andere analyse kijken we naar de rol van dat soort verschillen.

delen:  
Loading Conversation