Onduidelijk wat de Cito-woordenschattoets meet: woorden, kinderen of leraren
Paul Filipiak
Taalleesdeskundige bij Filipiak Educatie en Multimedia
Geraadpleegd op 06-12-2024,
van https://wij-leren.nl/woordkennis-woordenschat-toetsen.php
In het artikel 'Woordkennis toetsen: Weet wat je meet (JSW, juni 2014) constateren Maartje Hilte en Marianne Verhallen samen met juf Osa, dat landelijke gestandaardiseerde en normgerichte woordenschattoetsen vaak geen enkele vooruitgang laten zien. Wat is hier aan de hand?
Volgens de auteurs van het artikel worden met methode-onafhankelijke en normgerichte toetsen (MO-toetsen) de woordenschat van leerlingen vastgesteld, maar ook vergeleken met het niveau van hun leeftijdgenootjes. Daartoe doen toetsontwikkelaars een greep uit een algemene woordfrequentielijst. Zo een woordenlijst laat zien hoe vaak welke woorden in welke leerjaren gebruikt worden.
Zo selecteren de toetsontwikkelaars op een verantwoorde manier woorden die een representatief beeld geven van woorden waarmee leerlingen in het onderwijs in aanraking kunnen komen. De toetsen bevatten woorden die door bijna alle leerlingen worden gekend, maar ook woorden die slechts enkele leerlingen zullen kennen.
Zo krijgen alle leerlingen de kans te laten zien wat ze kunnen. Het is volgens de auteurs een misvatting te denken dat álle leerlingen alle opgaven zouden moeten kunnen maken. Als je intensief woordenschatonderwijs geeft kun je op MG-toetsen (methodegebonden toetsen) grote vooruitgang meten die niet correspondeert met de groei op MO-toetsen. Ook meten MO-toetsen niet de opbrengst op korte termijn.
Ook normgerichte woordenschattoetsen onder vuur?
Schmitt en Beck (2000 respectievelijk 2008) stellen dat normgerichte landelijke woordenschat-toetsen (MO-toetsen in het genoemde JSW-artikel) niet geschikt zijn als prestatietoetsen. Curriculumonafhankelijke MO-toetsen die kinderen onderling vergelijken zijn niet geconstrueerd om op de korte termijn onderwijseffect te meten. De valkuil is dat ze daar tóch vaak voor worden gebruikt. Terecht dat de auteurs van het artikel op dit gevaar wijzen. Het kan niet vaak genoeg worden opgemerkt.
De mogelijkheden voor het samenstellen van dit soort landelijke toetsen met laag- en hoog-frequente woorden zijn eindeloos. Het is met andere woorden onwaarschijnlijk dat een gestandaardiseerde en genormeerde landelijke woordenschattoets, die is gebaseerd op een woordfrequentielijst, geschikt is voor een specifieke klas en een specifieke groep van kinderen. Dit is het eigenaardige van woorden. Een leerkracht, opgegroeid op een schip, merkte eens terecht op: geef me een toets over scheepswoorden en ik haal een tien.
Ondanks dat een steekproef voor een woordenschattoets verschillende soorten gangbare en zeldzamere woorden bevat, of is gebaseerd op een lijst met woorden die de kinderen in de basisschool kunnen verwachten: er ontstaan problemen die leerkrachten met de Citowoordenschattoets in de praktijk ook tegenkomen.
Zelfs als de toets woorden zou bevatten die waarschijnlijk door bijna alle kinderen en woorden die door slechts een klein groepje kinderen worden gekend. Kinderen verschillen namelijk sterk in de precieze woorden die ze kennen. Daar ontkom je niet aan. Joop Stoeldraijer zocht bijvoorbeeld in taalmethoden naar woorden uit de Cito-woordenschattoets en ving hoofdzakelijk bot.
Tegenstrijdig
De auteurs van het JSW-artikel worstelen hier ook mee.
'Zo selecteren de toetsontwikkelaars volgens hen op een verantwoorde manier woorden die een representatief beeld geven van woorden waarmee leerlingen in het onderwijs in aanraking kunnen komen. De toetsen bevatten woorden die door bijna alle leerlingen worden gekend, maar ook woorden die slechts enkele leerlingen zullen kennen'.
Maar dan volgt later in hun artikel de ondermijning van het eigen standpunt:
'Hoeveel woorden je ook hebt bijgeleerd, een woordenschatopgave is niet goed te maken als een leerling een gevraagd woord nog nooit eerder is tegen gekomen'.
En die kans is heel groot.
Dat wil dus zeggen dat er in de Cito-woordenschattoets weliswaar woorden zijn gekozen die leerlingen kunnen tegenkomen, maar die ze nog nooit tegen zíjn gekomen. Het is het een of het ander: ze kunnen ze tegenkomen of ze zijn ze al tegengekomen. MO-toetsen laten in het gewraakte geval dan ook volgens de auteurs inderdaad geen groei zien.
Dat zien de juffen in Nederlandse basisscholen ook en ze balen daar samen met de kinderen enorm van. Het ligt voor de hand: woorden meten die je kunt tegenkomen maar nog niet bént tegengekomen kennen leerlingen niet, en daarmee komen ook landelijke normgerichte MO-toetsen in de problemen.
Is overigens het 'meetoptimisme' voor landelijke, normgerichte MO-woordenschattoetsen gerechtvaardigd?
Psychometrische problemen, ook bij normgerichte woordenschattoetsen
Brown, Cihi en Culligan (2007) bespreken het meten van de schatting van de woordenschatomvang bij personen, op basis van een steekproef met een woordenschattoets. Ze vonden het volgende.
'Elke toetsing waarmee wordt geprobeerd om de woordenschatomvang af te leiden van (te extrapoleren uit) de resultaten van een woordenschattoets met (zelfs!) frequente woorden, resulteert in statistisch onbetrouwbare gegevens.'
Indien je meer dan 3000 basis-woorden kent is er volgens hen een kans dat je nog 400 woorden mist van de 2000 meest frequente woorden. Dat zal bij laagfrequente woorden nog ongunstiger zijn. Elke woordenschatsteekproef is kennelijk problematisch.
De woordmoeilijkheid van woorden blijkt volgens genoemde onderzoekers tevens in hoge mate te verschillen voor verschillende groepen.
Woordenschattoetsen die woordomvang van kinderen schatten zijn hierdoor niet zomaar valide en betrouwbaar en meestal niet afgestemd op de individuele woordenschatbeheersing en op de woordkennis in verschillende basisschoolklassen van Delftzijl tot Maastricht. Ook landelijke normgerichte toetsen die kinderen onderling vergelijken komen daarmee nogmaals in de problemen.
Aanpassen van de woordenschatsteekproef
Het is dan ook niet vreemd dat Gallego en Llach (2009) opmerken dat de steekproef van woorden waarmee getoetst wordt van jaar tot jaar moet verschillen en dat het aantal woorden van leerjaar naar leerjaar in de toets groter moet worden, zodat de kans op een slechte score bij een individuele leerling kleiner wordt.
Veel hoge scores op curriculumonafhankelijke toetsen (MO-toetsen) zouden volgens de auteurs van het JSW-artikel laten zien dat leerkrachten samen als team goed woordenschatwerk hebben verricht, niet een paar weken of maanden, maar jaren lang. Dit kan wel zo zijn, maar of dat valide en betrouwbaar via de leerlingen gemeten kan worden voor gangbare en zeldzamere woorden, dat blijft de grote vraag.
Toetsen voor woordkennis en woordgebruik
Veel huidige woordenschattoetsen toetsen alleen een soort van oppervlakkige woordkennis, zoals het vragen naar synoniemen, het voorleggen van een meerkeuzevraag, waarbij de betekenis van de voorbeeldzin en de betekenis van één van de antwoorden hetzelfde is.
Wat is een ander woord voor braiseren? Kies uit:
|
(uit: Woordkennis toetsen: weet wat je meet).
Dit soort toetsen zijn weliswaar gemakkelijk na te kijken en het antwoord is goed of fout. Maar je weet eigenlijk niet zo goed wat je meet.
- Woordkennis?
- Gememoriseerde woorden?
- Gedeeltelijke voorkennis?
- Goed woordgebruik?
Het probleem met het toetsen op deze manier is ook, dat een fout antwoord niet altijd wil zeggen dat de het kind het woord helemaal niet kent.
In dit kader is volgens Nation (2001) en Schmitt (2000) uit onderzoek gebleken, dat een vergroting van de woordenschat die blijkt uit een meting van gedecontextualiseerde losse woorden, niet noodzakelijkerwijze wordt weerspiegeld in een toename van het juiste woordgebruik (bij luisteren, lezen, praten en schrijven in zinnen, situaties en teksten).
En wellicht dat goed woordgebruik pas juiste woordkennis oplevert. Het is dus precies andersom: het kunnen gebruiken van woorden moet veel hoger aangeschreven worden dan wat je (een beetje) weet over een woord of wat je herkent van een woord in een eenzijdige toets.
Maar wat wordt er dan wel gemeten met de Citowoordenschattoets?
Als leerlingen de woorden uit de Cito-toets nog niet tegen zijn gekomen, meet die kennelijk iets anders dan de meetpretentie.
- Wat is dat?
- Wat toetsen MO-toetsen volgens de auteurs van het JSW-artikel dan wél?
Ze toetsen volgens hen leerkrachten die teksten begrijpelijk hebben gemaakt voor de leerlingen, die een rijk mondeling en schriftelijk taalaanbod hebben verzorgd en die hebben gezorgd voor gemotiveerde lezers.
Maar dan wordt het betoog vager en vager.
Ze meten 'of er een beweging op gang is gebracht' waarbij leerlingen 'in de volle breedte' (Wat is vol en wat is breed?) in allerlei contexten woorden hebben verworven. Maar wellicht meet de toets vooral wat kinderen thuis aan woordkennis hebben opgedaan.
Dan zullen volgens de auteurs ook MO-toetsen vooruitgang en variatie tussen leerlingen laten zien en wordt juf Osa weer blij. Maar worden hiermee leraren, leerlingen of beiden getoetst? Hoe zit dat? En als je leraren wilt toetsen via de opbrengsten bij leerlingen moet je dan niet rechtstreeks de kwaliteit van hun woordenschatonderwijs observeren?
"Het betoog wordt onduidelijker en het bedreigt serieus de validiteit van MO-toetsen en in dit geval de Cito-woordenschattoets."
Onduidelijk wat er precies wordt gemeten met de Cito-woordenschattoets
Waarschijnlijk wordt er ook deels iets onverwachts bij de leerlingen gemeten. Wat moeten leerlingen kunnen in plaats van kennen bij veel woordenschattoetsen? Nadenken door leerlingen over de woordbetekenis (of woordkennis) in een toets, kan een behoorlijk abstracte bezigheid zijn en zo een abstractievermogen heb je ook nodig bij een relatief gedecon-textualiseerde woordenschattoets.
Je toetst dan misschien voor een groot deel verbale intelligentie of betekenis gokken en geen woordkennis. Landelijk normgerichte woordenschattoetsen zoals de Citowoordenschattoets zullen dus waarschijnlijk vooral verbale intelligentie meten of zelfs een 'woordraadvaardigheid' (Sternberg en Powel; In: Hiebert, H. en Kamil. L.M. 2005).
De leerlingen zouden precies, los van de context, heel goed moeten weten wat een woord betekent en zouden dan via deze zogenoemde 'diepe woordkennis' (wat is dat eigenlijk?) op curriculumonafhankelijke toetsen beter kunnen presteren. Dat blijft echter een grote onbekende.
Het is eigenlijk de omgekeerde wereld: leerlingen zouden woorden uiteindelijk moeten leren om de woordkennis en niet om het juiste en brede woordgebruik in zinnen, teksten en situatie. Goed woordgebruik moet dan ook veel vaker worden getoetst dan gebruikelijk is in het onderwijs, naast toetsen van woordkennis. Het eerste met gatentoetsen (Cloze-toetsen), omdat die de betekenis én het gebruik van woorden toetsen in zinnen en teksten.
Samenvatting
Het artikel onderzoekt waarom landelijke gestandaardiseerde en normgerichte woordenschattoetsen vaak geen vooruitgang laten zien. Deze toetsen, die methode-onafhankelijk en normgericht zijn, vergelijken de woordenschat van leerlingen met het niveau van hun leeftijdsgenoten door woorden te selecteren uit een algemene woordfrequentielijst. Hoewel de toetsen een mix bevatten van veelvoorkomende en minder bekende woorden, tonen ze vaak geen groei aan. Dit komt doordat de toetsen niet meten wat leerlingen daadwerkelijk kennen en kunnen gebruiken. Bovendien zijn ze niet ontworpen om korte termijn onderwijseffecten te meten. Het artikel pleit voor een heroverweging van het gebruik van deze toetsen en benadrukt dat woordkennis niet alleen bestaat uit het herkennen van losse woorden, maar ook uit het juiste gebruik ervan in verschillende contexten.
Geraadpleegd
- Beck, I. McKeown, M. G., & Kucan, L. (2008, 2010); Creating Robust Vocabulary: Frequently Asked Questions. Guilford Press.
- Browne, Cihi, Culligan (2007); Measuring Vocabulary Size via Online Technology; Lexxica.
- Gallego, M. & Llach, M. (2009); Exploring the Increase of Receptive Vocabulary Knowledge in the Foreign Language: A Longitudian Study; International Journal of English Studies.
- Hiebert, E.H. en Kamil, M.L. (2005); Teaching and Learning Vocabualry; Bringing Research to Practice. Lawrence Erlbaum, Publishers.
- Hilte, M. Verhallen,M.(2014); Woordkennis toetsen: Weet wat je meet.; JSW.
- Schmitt, N. (2000); Vocabulary in Language Teaching;Camebridge University Press.
- Nation, I. S. P. (2001); Learning Vocabulary in Another Language; Cambridge University Press.