Hoe onze oefenvragen tot stand komen

Onze oefenvragen komen uit generatoren: kleine programma's die per vraagtype een opgave opbouwen volgens een vaste regel. Een generator voor cijferreeksen kiest bijvoorbeeld een startgetal en een rekenregel, bouwt daar een reeks mee op, en maakt vervolgens afleiders die plausibel zijn maar aantoonbaar fout.

Dat klinkt onpersoonlijker dan met de hand schrijven, maar het heeft een belangrijk voordeel: de regel achter elke opgave staat expliciet vast. Daardoor kun je achteraf machinaal nagaan of het opgegeven antwoord werkelijk het enige juiste is. Bij handmatig geschreven vragen moet je daarvoor op het oordeel van de schrijver vertrouwen, en juist daar sluipen fouten in die niemand meer terugvindt.

De bank telt op dit moment 4.741 opgaven, verdeeld over vijf niveaus van vmbo kader tot wo. De verdeling is bewust vlak gehouden, zodat er op elk niveau genoeg materiaal is om een tijd mee vooruit te kunnen zonder dat je dezelfde opgave tegenkomt.

vmbo kader

929

vmbo tl

881

mbo

912

hbo

913

wo

866

Een generator die zijn eigen werk nakijkt, vindt vanzelfsprekend niets. Daarom is er voor elk controleerbaar vraagtype een aparte verifier geschreven, los van de generator en zonder kennis van de antwoordsleutel. Die verifier krijgt precies te zien wat een kandidaat te zien krijgt, leidt daaruit zelfstandig het antwoord af, en legt dat pas daarna naast de sleutel.

Wijken de twee van elkaar af, dan is er iets mis: of de sleutel klopt niet, of de opgave laat meer dan één antwoord toe. In beide gevallen is de opgave onbruikbaar en gaat hij terug de molen in. Bij ordeningspuzzels gaat de verifier nog een stap verder en lost hij alle mogelijke volgordes op, om zeker te weten dat er precies één uitkomst overblijft.

Zo is 2.717 keer een opgave opnieuw doorgerekend. De dekking verschilt per domein, omdat niet elk vraagtype zich even goed laat herafleiden:

Dat letterreeksen en numeriek redeneren lager uitkomen, heeft een prozaïsche reden: bij een deel van die opgaven ontbreekt in de metadata het veld waaruit de verifier de reeks kan reconstrueren. Die items zijn niet fout, ze zijn alleen niet machinaal nagerekend. Dat is een verschil dat we liever benoemen dan wegpoetsen.

Een controle die niets vindt, is meestal een controle die niet goed genoeg kijkt. Deze vond wel wat, en dat is precies de reden om hem te draaien:

• 4 rekenfouten in de antwoordsleutel: gecorrigeerd
• 93 opgaven met meer dan één verdedigbaar antwoord: opnieuw gegenereerd
• 278 taalfouten bij logisch redeneren: gecorrigeerd
• 5 letterreeksen die door het alfabet heen lopen: bewuste ontwerpkeuze, niet aangepast

Die laatste regel verdient uitleg, want het is de enige bevinding die we hebben laten staan. Bij een handvol letterreeksen loopt het patroon voorbij de Z en begint het weer bij A. Sommige kandidaten vinden dat onredelijk, anderen vinden het een legitieme variant. Wij hebben ervoor gekozen ze te laten staan en het hier te vermelden, in plaats van stilletjes een ontwerpkeuze als foutloos te presenteren.

Voor 940 opgaven werkt deze aanpak niet. Een figuurmatrix of een tekst met vervolgvragen laat zich niet betrouwbaar herafleiden door een programma; daar is menselijke beoordeling voor nodig. Het gaat om de volgende domeinen:

• Figuurreeksen en matrices700 opgaven
• Ruimtelijk inzicht168 opgaven
• Verbaal tekstbegrip72 opgaven

Voor deze categorieën geldt een reviewronde met de hand: een tweede beoordelaar kijkt of er precies één verdedigbaar antwoord is, of de afleiders plausibel maar aantoonbaar onjuist zijn, en of de opgave op een telefoon net zo leesbaar blijft als op een groot scherm. Dat is trager en het schaalt slechter, maar er is geen kortere route die net zo betrouwbaar is.

Een detail dat zelden ter sprake komt, maar dat wel uitmaakt: als het juiste antwoord vaker op één positie staat, kun je punten scoren zonder de opgave op te lossen. Dat maakt oefenmateriaal waardeloos, want je traint dan een truc die bij een echte afname niet werkt.

De verdeling over de vier posities is daarom gecontroleerd en komt uit op vrijwel gelijke aantallen. Gokken op C levert hier niets op:

A

1123

B

1153

C

1100

D

1125

Hier past een duidelijke grens. Wat hierboven staat gaat over zorgvuldigheid in het maken van oefenmateriaal, en dat is iets anders dan een genormeerde test. Capaciteitkompas levert geen IQ-score, geen officiële niveaumeting en geen uitspraak over je geschiktheid voor een opleiding, een werkgever, de politie of Defensie.

De oefenvragen zijn zelfstandig ontwikkeld en bevatten geen materiaal van testuitgevers. Dat betekent ook dat ze niet identiek zijn aan de test die jij straks maakt: vraagvormen, tijdsdruk en normering verschillen per uitgever. Wat je hier traint is het herkennen van vraagtypen en het toepassen van oplosstrategieën, en dat is precies het deel dat overdraagbaar is.

Een score op Capaciteitkompas is dus een oefenscore. Hij zegt iets over hoe je het vandaag deed op dit materiaal, en niets over een vastliggend niveau. Wat er wél over te zeggen valt, staat in wat zegt een oefenscore.

Capaciteitkompas is een product van CalmPoint, ingeschreven bij de Kamer van Koophandel onder nummer 95690492. Het platform wordt gemaakt en onderhouden in Nederland, en de oefenvragen worden in eigen beheer ontwikkeld en gecontroleerd.

Kom je een opgave tegen waarvan je denkt dat het antwoord niet klopt, of waarbij je een tweede antwoord verdedigbaar vindt, dan horen we dat graag. Meldingen over losse items worden voor honderd procent nagekeken, niet steekproefsgewijs. Je bereikt ons via info@capaciteitkompas.nl.