Wat AI-benchmarks niet vertellen over kwaliteit van chats en chatbots

Een LLM-benchmark is een gestandaardiseerde test waarmee de capaciteiten van een taalmodel worden gemeten en de taalmodellen met elkaar vergeleken kunnen worden. De test bestaat uit een vaste set opgaven, die een taalmodel één keer uitvoert, waarna een score volgt. Bekende voorbeelden zijn MMLU (kennisvragen over uiteenlopende vakgebieden), HumanEval (programmeeropdrachten) en MATH (wiskundige problemen). Modellen als Claude Sonnet 3.5 en GPT-4o worden op dit soort tests met elkaar vergeleken, en met de tijd verbeteren de modellen en lopen de scores op: op sommige benchmarks presteren de nieuwste modellen inmiddels bijna foutloos.

Die verzadiging roept een vraag op die Kenneth Li, AI-onderzoeker bij Harvard, opwierp in een artikel uit de nieuwsbrief van The Gradient: stijgt de kwaliteit van het daadwerkelijke gebruik van een chatbot even hard mee als de benchmarkscore? Zijn antwoord is voorzichtig: waarschijnlijk niet, en dat komt doordat benchmarks iets anders meten dan de kwaliteit van chats.

Het verschil tussen een toets en een dialoog

Benchmarks zijn niet-interactief. Een model krijgt één vraag, geeft één antwoord, en dat antwoord wordt afgevinkt als goed of fout. In een chat kan een gebruiker doorvragen, en het antwoord van de chatbot beïnvloedt die volgende vraag. Een gebruiker kan van gedachten veranderen, doorvragen op een detail, of het opeens over een heel andere boeg gooien. Een chatbot die op elke afzonderlijke vraag een correct antwoord geeft, hoeft nog geen goed chatpartner te zijn.

Kenneth Li duidt dit gemis aan met de term “sense of purpose”: het vermogen van een systeem om een gesprek binnen een context te voeren en een onderliggend doel te kunnen herkennen. Bijvoorbeeld: een taalmodel dat een gebruiker helpt een werkstuk te verbeteren, moet kunnen ‘begrijpen’ en onthouden waar het gesprek heen gaat, prioriteiten kunnen bijstellen en soms een vraag even laten liggen om eerst iets belangrijkers te verhelderen. Dat soort doelgerichtheid wordt door de eenmalige benchmarktaken per definitie niet zichtbaar gemaakt.

Waarom dit meer is dan een technisch detail

Wie generatieve AI inzet in onderwijs, creatief werk of andere samenwerkingsvormen, doet dat zelden voor het beantwoorden van losse vragen. Het gaat om een proces: een student die met een chatbot een opdracht doorwerkt, een ontwerper die samen met een AI-tool tot een concept komt. In die situaties telt niet of het model op elk moment het juiste antwoord geeft, maar of het meebeweegt binnen de context en met de input van de gebruiker, onthoudt wat er eerder is gezegd, snapt waar het naartoe werkt, en bijstuurt wanneer dat nodig is. Een hoge benchmarkscore is daar geen goede maat voor.

Deze tegenstelling van toetsscores en kwaliteit heeft een opvallende gelijkenis met de onderwijspraktijk. Ook daar bestaat een spanning tussen wat een toets meet (kennis en vaardigheden op een geïsoleerd moment) en wat er in het beroepenveld echt toe doet (of iemand kennis en vaardigheden professioneel kan inzetten in een lopend, veranderlijk werkproces). Een goed cijfer betekent niet altijd dat een student een probleem in de praktijk kan oplossen, en een hoge benchmarkscore betekent niet automatisch dat een chatbot een bruikbare samenwerkingspartner is.

Een praktisch criterium

Dus laat je niet te veel leiden door deze benchmarkcijfers als je wilt testen voor gebruik in het onderwijs of werk. Test een LLM of tool met een complexere interactieve taak die lijkt op het werkelijke gebruik: bijvoorbeeld een opdracht met meerdere aanpassingen, een gesprek dat ergens naartoe moet werken. Pas dan wordt duidelijk of een systeem niet alleen goed antwoordt, maar ook doelgericht kan samenwerken.