Instructiestrategieën die werken — maar voor wat?

De Amerikaanse onderwijsauteur Alfie Kohn schreef in 2011 het stuk Teaching Strategies That Work! (Just Don’t Ask “Work to Do What?”). Na mijn serie posts over denken en kennis (deel 1, 2, 3, 4) en de publicatie van mijn boek De Denkende Klas, leek het me opportuun om die vraag maar weer eens te stellen. Ik heb delen van zijn stuk vertaald1 en aangevuld met overwegingen van anderen en mijzelf.

Ik realiseer me heel goed dat ik me voor de zoveelste keer op glad ijs begeef. Veel leraren zullen die vraag, “Werken voor wat?” overbodig vinden vanuit de vanzelfsprekende aanname dat we toch weten wat het doel van lesgeven is. Voor anderen is die vraag misschien ronduit verontrustend. Het is heel comfortabel om je werk te doen met de zekerheid dat wat je doet de goedkeuring heeft van de wetenschap. Alfie Kohn is dan een hinderlijke horzel, die ons lastigvalt met ondermijnende vragen.

Ik vraag de lezer vriendelijk wat geduld te hebben bij het lezen van dit stuk. Wie het hier al rood voor de ogen is geworden, adviseer ik de rest ongelezen te laten. En alweer een disclaimer: Ik wil niemand persoonlijk kwetsen of verdacht maken. Mijn enige doel is mijn collega’s in het onderwijs een paar vragen en gedachten meegeven die mij de moeite waard lijken.

Kohn schrijft dat het belangrijk is steeds te blijven nadenken over doel en uitgangspunten van goed onderwijs. Hij verontschuldigt zich bij voorbaat voor de herhalingen waarvan “trouwe lezers uiteindelijk moe zullen worden.”2 Hij stelt ook de belangrijke vraag, wat in al dat onderwijsonderzoek toch wordt verstaan onder ‘effectiviteit’. Die vraag heb ik op deze plaats herhaaldelijk gesteld, maar ik heb er nooit een antwoord op gekregen.

Hij begint met een paar opmerkingen over standaardisering.

Doel en uitgangspunten

Het blijft belangrijk om te bedenken, bijvoorbeeld, dat het onderwijs niet noodzakelijkerwijs beter is als standaarden “strikter” worden doorgevoerd. Of bedenk dat gestandaardiseerde testresultaten zo’n misleidende indicator zijn voor onderwijs of leren dat succesvolle inspanningen om de scores te verhogen de kwaliteit van het onderwijs van de studenten in werkelijkheid kunnen verlagen. Of dat het gebruik van beloningen of straffen om mensen te controleren onvermijdelijk op meerdere manieren averechts werkt.

Alfie Kohn voert, met vele anderen, al jaren strijd tegen een beweging in het Amerikaanse onderwijs, de ‘Reform Movement’, die met name een bedreiging vormt voor het openbare onderwijs, de public schools en de leraren die daar werken. Omdat ook in Nederland, als gevolg van het lerarentekort, een ontwikkeling dreigt naar verzakelijking, afrekenen op opbrengsten, enzovoort moeten we ons steeds weer afvragen welk soort onderwijs we willen. Ook wanneer we als een gebroken grammofoonplaat klinken. We kunnen het niet vaak genoeg zeggen: grote uitgeverijen en ook bedrijven als McKinsey hebben allang methoden ontwikkeld – en in een aantal landen geïmplementeerd – die leraren grotendeels overbodig maken.

Wat is ‘Effectiviteit’?

Een ander axioma dat al vele malen is aangeboden (maar zonder duidelijk effect) is dat het heel weinig betekent om te zeggen dat een bepaalde interventie “effectief” is – in ieder geval totdat we hebben gevraagd “Effectief waarvoor” en hebben vastgesteld dat het criterium in kwestie zinvol is. Veel leraren verklaren vrolijk dat ze zich niet bekommeren om theorieën; ze willen gewoon iets dat werkt. Maar dit roept de (onvermijdelijke theoretische) vraag op: Wat bedoel je met “werkt”?

En als je dat eenmaal hebt gevraagd, ben je verplicht om sceptisch te blijven over eenvoudige eisen voor bewijsmateriaal-, data-, of op onderzoek gebaseerd beleid. Op zijn best, en in die relatief zeldzame gevallen waarin de resultaten duidelijk zijn, kan onderzoek ons alleen maar laten zien dat het doen van A een redelijk goede kans heeft op het produceren van resultaat B. Het kan ons niet vertellen of B een goed idee is, en we zullen daar minder snel over praten als de details van B niet eens duidelijk zijn omschreven.

Om eerlijk te zijn: Er is al lang bewijs voor de effectiviteit van bepaalde strategieën voor klassenmanagement, waarvan de meeste vereisen dat de leraar vanaf de eerste schooldag een stevige controle uitoefent. Maar hoeveel lezers van dit onderzoek, waaronder lerarenopleiders en hun leerlingen, onderbreken de lange discussie over die strategieën om te vragen wat precies wordt bedoeld met “effectiviteit”?

Het antwoord, zo blijkt, is over het algemeen een variatie op de overeenstemming. Als je dit, dit, en dit doet, heb je meer kans om je kinderen te laten doen wat ze verteld wordt. Maak dat expliciet en je zou dan moeten vragen of dat echt je belangrijkste doel is. Als je bij nader inzien besluit dat het voor studenten het belangrijkst is om kritische denkers, enthousiaste leerlingen, ethische besluitvormers of gulle en verantwoordelijke leden van een democratische gemeenschap te worden, dan is de basisbevinding – en al het bewijs erachter – heel weinig waard. Sterker nog, het kan blijken dat bewezen klassikale managementtechnieken de realisatie van ambitieuzere doelen ondermijnen, omdat die doelen een heel ander soort klaslokaal vereisen dan het standaard klaslokaal, dat ontworpen is om gehoorzaamheid op te wekken.

Een nog algemener voorbeeld van dit algemene punt zijn de academische resultaten. In wetenschappelijke tijdschriften, in de berichtgeving over het onderwijs in de media en in professionele ontwikkelingsworkshops voor leerkrachten wordt een aantal zaken min of meer heilzaam beschreven – ook hier weer met weinig aandacht voor de uitkomst. De discussie over “veelbelovende resultaten” (of hun afwezigheid) is opmerkelijk precies over wat ze hebben opgeleverd, terwijl snel wordt voorbijgegaan aan het feit dat die resultaten bestaan uit niets meer dan scores op gestandaardiseerde toetsen, vaak normgebonden en meerkeuze-versies.

Wat is ‘Bewijs’?

We zijn dus terug bij een van die sleutelprincipes, die herhaaldelijk zijn genoemd – en genegeerd – waar ik het eerder over had. Gestandaardiseerde tests meten in het algemeen de minst belangrijke intellectuele capaciteiten, dus het heeft absoluut geen zin om curricula, onderwijsstrategieën of de kwaliteit van opvoeders of scholen te beoordelen op basis van de resultaten van die tests. Inderdaad, zoals ik elders heb gemeld, is gebleken dat testscores in feite omgekeerd evenredig zijn aan diep denken.

Zo kan “bewijs” onomstotelijk aantonen dat een bepaalde onderwijsstrategie effectief is, maar pas als je eraan denkt om aan te dringen op de werkdefinitie van effectiviteit – wat nogal wat aandringen kan vergen als het antwoord niet duidelijk gespecificeerd wordt – realiseer je je dat de onderwijsstrategie (en alle indrukwekkend klinkende data die het ondersteunen) waardeloos zijn omdat er geen bewijs is dat het leren erdoor verbetert. Alleen de testscores.

Dat brengt me bij een rapport dat eerder dit jaar (2011) is gepubliceerd in het Journal of Educational Psychology. Een groep onderzoekers van de City University of New York en Kingston University in Londen heeft twee meta-analyses uitgevoerd, een manier om statistisch gezien studies te combineren om het totale resultaat te kwantificeren. De titel van het artikel was “Does Discovery-Based Instruction Enhance Learning?”, wat voor velen van ons een interessante vraag is.

Wil je het veel eenvoudiger antwoord weten dat de meta-analyzers rapporteerden? Het eerste overzicht, van 580 vergelijkingen uit 108 onderzoeken, toonde aan dat volledig onbegeleid ontdekken minder effectief is dan “expliciete instructiemethoden”. De tweede evaluatie, van 360 vergelijkingen uit 56 studies, toonde aan dat verschillende “verbeterde” vormen van ontdekkend leren het beste werken.

Er zijn veel mogelijke reacties op dit nieuws. Een daarvan is “Duh.”3 Een andere is “Vertel me meer over die verbeterde vormen, en welke het meest effectief is.” Een andere is “Waarom hebben 108 groepen onderzoekers de moeite genomen om de ontdekking van laissez-faire te evalueren, gezien het feit dat, zoals deze recensenten erkennen, het een stroman-argument is omdat het niet de manier is waarop de meeste progressieve en constructivistische opvoeders lesgeven?” Nog een andere: “Over hoeveel effectiever hebben we het?” omdat een statistisch significant verschil betekenisloos kan zijn als de effectgrootte laag is.

Maar ik nam mijn advies ter harte en vroeg: “Wat bedoelden al die onderzoekers, wier kookkunsten in één grote pot werden gegooid, in godsnaam met ‘effectief’?” Vergeef me mijn cursivering, maar het is verbazingwekkend hoe weinig de auteurs van de review om deze kwestie leken te geven. Een discussie hierover ontbrak in de lange inleiding van het artikel en in de afsluitende discussiesectie. Ja, de “dependent variable” (D.V., afhankelijke variabele) was een van de gehanteerde parameters om de resultaten specifieker te maken – samen met de leeftijd van de leerlingen, het onderwezen academisch onderwerp, enzovoort. Maar D.V. – waar ontdekkend leren al dan niet een effect op heeft – werd alleen uitgesplitst naar het type meting dat in de studies werd gebruikt: post-test scores vs. acquisitiescores vs. zelfevaluaties. Er was geen woord om te beschrijven, laat staan te analyseren, waar de onderzoekers allemaal naar zochten. Wilden ze zien hoe deze verschillende soorten instructie de scores van kinderen op tests van basisgeheugen beïnvloeden? Hun vermogen om principes te generaliseren naar nieuwe problemen? Hun creativiteit? (Het heeft geen zin je af te vragen wat het effect is op de belangstelling van kinderen om te leren; dat komt in deze studies bijna nooit voor).

Artikelen als deze worden peer-reviewed en, zoals hier het geval was, worden vaak teruggestuurd voor revisie op basis van de commentaren van de recensenten. Toch heeft blijkbaar niemand gedacht om deze auteurs te vragen een stap terug te doen en na te denken over wat voor soort onderwijsresultaten er werkelijk in het geding zijn als verschillende onderwijsstrategieën met elkaar worden vergeleken. Laat staan de mogelijkheid dat expliciete instructie veel beter is dan ontdekkend leren … bij het produceren van resultaten die er verdomd weinig toe doen, intellectueel gezien.

In feite is de D.V. in onderwijsstudies vaak tamelijk onbeduidend, en bestaat hij alleen uit (yup) gestandaardiseerde testscores, of een parameter als het aantal onderwezen items dat correct werd herinnerd. En als een van deze onderzoeken de populaire media haalt, zal dat gegeven over de studie de media waarschijnlijk niet halen. In januari schreef ik over de wijdverspreide media-aandacht voor een studie die zou aantonen die suggereert dat je om te leren een test moet doen – om de kop van de New York Times te citeren: “Doe een test om echt te leren, zegt onderzoek”. Alleen moest je de studie zelf lezen, en behoorlijk zorgvuldig, om te ontdekken dat “echt leren” alleen maar betekende “meer feiten in het kortetermijngeheugen proppen”.

Maar het probleem is niet alleen een overdreven vertrouwen in resultaten – uit het hoofd leren, testscores, of gehoorzaamheid – die sommigen van ons schouderophalend bekijken en als een afleiding beschouwen van de intellectuele en morele eigenschappen die ons in plaats daarvan zouden moeten bezighouden. Het probleem is dat onderzoekers, zoals een journalist het zou kunnen zeggen, de boodschap begraven. En te veel onderwijsmensen lijken dat niet op te merken.

Als deze situatie niet verbetert, accepteer dan alstublieft op voorhand mijn verontschuldigingen, want het is waarschijnlijk dat ik me in de nabije toekomst genoodzaakt zal voelen om er nog een essay over te schrijven.