AI-benchmarks beoordelen: zo toets je een modelclaim

In september en oktober 2026 kwamen OpenAI, Anthropic, Google, Meta en Mistral allemaal met een nieuw model, en elk met een tabel waarin het eigen model wint. Die tabellen kunnen tegelijk kloppen en toch niets zeggen over jouw werk.

AI-benchmarks zijn gestandaardiseerde testsets waarmee de prestaties van taalmodellen worden gemeten, zoals een verzameling programmeeropdrachten, examenvragen of agenttaken met een vaste manier van scoren. Ze zijn bruikbaar om modellen grof te ordenen, maar zelden om te kiezen: de verschillen aan de top vallen vaak binnen de meetfout, de taken lijken weinig op bedrijfswerk, en vrijwel geen enkele benchmark meet Nederlands. Voor een investeringsbeslissing heb je een eigen testset nodig.

Waarom zeggen de cijfers van de maker zo weinig?

De cijfers van een modelmaker zeggen weinig omdat de maker kiest welke tests in de tabel komen, met welke instellingen ze draaien en hoe vaak. Alle drie de keuzes vallen in het voordeel van het eigen model uit.

Een voorbeeld uit oktober 2026. Mistral schreef bij de lancering van Mistral Large 4 dat het model via het meetbureau Vals.ai GPT-6 Astra overtreft op juridische en financiële taken. Op de pagina's van Vals.ai zelf staat Mistral Large 4 op de financiële agenttest één punt voor, binnen de foutmarge, en op de juridische onderzoekstest bijna acht punten achter. Op de totale Vals Index staat het op plaats 34 van 49, GPT-6 Astra op plaats 7. Wat we daarover verder weten, staat in ons stuk over Mistral Large 4.

Het werkt ook andersom, en dan eerlijk. Anthropic publiceerde bij Claude Opus 5.5 een score van 66,4 procent op Terminal-Bench 4.0 tegen 57,9 procent voor GPT-6 Astra, en zette er zelf bij dat de standaardfout ongeveer 2,6 punten is en dat "benchmark margins have become a less reliable guide to real-world differences", in de eigen aankondiging. Dat de maker dat zelf opschrijft, zegt veel.

Het onderzoeksinstituut Epoch AI documenteert het verschil al langer. Een model waarvoor de maker 65 procent op de wetenschapstest GPQA Diamond meldde, haalde in de eigen metingen van Epoch 55 procent, gemiddeld over zestien runs, volgens de methodepagina van Epoch. Makers vermelden vaak niet welke prompt of temperatuur ze gebruikten.

Waar loopt een benchmarkscore scheef?

Een benchmarkscore loopt op drie plekken scheef: de test zit in de trainingsdata, de test is vol, of de score hangt af van de formulering. Alle drie zijn gemeten.

Die laatste rij is voor een bedrijf de belangrijkste. Als de score van een model zo sterk afhangt van de formulering, dan zegt een benchmark met de prompt van de maker weinig over hoe het model presteert met de prompts die jouw systeem straks stuurt.

Ranglijsten op basis van menselijke voorkeur hebben eigen zwakke plekken. LMArena laat bezoekers twee anonieme antwoorden vergelijken. Het onderzoek The Leaderboard Illusion vond dat Meta voor de lancering van Llama 4 27 privévarianten op het platform testte, en dat Google en OpenAI samen ongeveer 40 procent van alle stemdata ontvingen, tegen 29,7 procent voor 83 open modellen samen. Een maker die vaker mag oefenen, scoort hoger. En lengte telt: LMArena corrigeert inmiddels voor antwoordlengte en opmaak, omdat langere antwoorden met meer opsommingen systematisch vaker winnen.

Welke onafhankelijke ranglijsten zijn bruikbaar?

Onafhankelijke ranglijsten zijn bruikbaar als ze alle modellen met dezelfde instellingen testen, hun methode publiceren en een foutmarge tonen. Twee voldoen daar voor een Nederlands bedrijf aan.

Artificial Analysis test elk model met dezelfde prompts en temperatuur op tien evaluaties (Intelligence Index v4.3.2), met de nadruk op agenttaken en programmeren. Een deel van de tests houdt het bureau geheim om besmetting te voorkomen. De methodepagina zegt ook wat de index niet is: "a primarily text-based, English-language evaluation suite". De meertalige index die het bureau apart bijhoudt, bevat zestien talen, Nederlands niet. En de index verandert vaak: in september 2026 alleen al vier versies. Vergelijk dus nooit scores uit verschillende versies.

EuroEval, voorheen ScandEval, meet wel Nederlands. Het platform test modellen op Nederlandse taken: sentiment, het herkennen van namen en organisaties, begrijpend lezen, samenvatten, vereenvoudigen naar duidelijke taal, hallucinaties herkennen en functies aanroepen. Elk model draait tien keer op steekproeven van de testset, zodat de Nederlandse ranglijst een marge per score toont. In oktober 2026 stonden daar GPT-6 Astra en GPT-6.1 Sol bovenaan, met het open model GLM-5.3-Flash binnen de marge van de nummer drie. Claude 5.5, Gemini 4 en Mistral Large 4 stonden er nog niet op. Een ranglijst loopt altijd achter op de lanceringen.

Gebruik ze als voorselectie. Een model dat op EuroEval duidelijk lager staat, hoef je niet zelf te testen voor Nederlandse tekst. Tussen modellen die binnen elkaars marge vallen, beslist je eigen test. Hoe ver open modellen in het algemeen achterlopen, beschrijven we in open-weight modellen tegenover frontier.

Hoe bouw je een eigen testset voor een AI-model?

Een eigen testset voor een AI-model bouw je uit echte voorbeelden van het werk dat het model gaat doen, met vooraf vastgelegd wat een goed antwoord is. Zo pakken wij dat aan.

1. Verzamel 50 tot 200 echte gevallen

Haal ze uit je mailbox, je ticketsysteem of je archief, inclusief de lastige: de klant die drie vragen in één mail stelt, de factuur met een afwijkende layout, het contract in het Engels. OpenAI waarschuwt in zijn richtlijnen voor evaluaties tegen testsets die "don't faithfully reproduce production traffic patterns". Vijftig is genoeg om grote verschillen te zien. Voor verschillen van een paar procent heb je er honderden nodig.

2. Leg per geval vast wat goed is

Voor uitleestaken is dat eenvoudig: het juiste bedrag, de juiste datum, de juiste categorie. Die scoor je met code, wat volgens Anthropic de snelste en betrouwbaarste methode is. Voor teksten schrijf je een beoordelingslijst: welke informatie moet erin, wat mag er absoluut niet in.

3. Laat een ander model beoordelen, en controleer die beoordelaar

Een taalmodel als beoordelaar werkt, met bekende afwijkingen. Het oorspronkelijke onderzoek naar deze methode vond meer dan 80 procent overeenstemming met menselijke beoordelaars, ongeveer zoveel als mensen onderling, maar ook een voorkeur voor het eerst getoonde antwoord, voor langere antwoorden en voor antwoorden van zichzelf. Gebruik dus een ander model als beoordelaar dan het model dat je test, en laat een collega twintig beoordelingen nalopen voordat je de rest vertrouwt.

4. Draai elk model meerdere keren

Draai de hele set minstens drie keer per model. Verschilt de score tussen de runs meer dan het verschil tussen twee modellen, dan heb je geen winnaar. Artificial Analysis rapporteert bij een agenttest om die reden ook hoe vaak een model een vraag vijf keer achter elkaar goed beantwoordt: een antwoord dat soms klopt, moet je alsnog controleren.

5. Meet ook kosten en snelheid

Leg per model vast wat een run kost en hoe lang hij duurt. Een model dat twee procent beter scoort maar vier keer zo duur is per taak, is zelden de juiste keuze. Hoe je dat uitrekent, staat in AI-modellen vergelijken op kosten per taak.

Wanneer stap je over op een nieuw model?

Overstappen op een nieuw model doe je als het op je eigen testset aantoonbaar beter is, buiten de marge tussen runs, tegen kosten per taak die het verschil waard zijn. Een benchmarktabel bij een lancering is daarvoor nooit genoeg.

De testset die je voor je eerste modelkeuze bouwt, is daarna je belangrijkste beheermiddel. Een nieuwe release laat je er binnen een dag doorheen lopen, en dan weet je of de lancering voor jou iets verandert. Dezelfde set gebruik je bij elke wijziging aan prompts of koppelingen, zoals we beschrijven bij AI-agents in productie. Bij open modellen die je zelf draait, bepaalt de testset ook of een kleiner model genoeg is, het onderwerp van kleine taalmodellen voor bedrijven.

Voor de bredere vraag hoe je AI-investeringen beoordeelt en wie je daarbij helpt, zie onze gids over AI-advies inhuren. Wil je een testset voor je eigen processen laten opzetten, zodat je bij elke release binnen een dag weet waar je staat? Dat doen we binnen AI-advies.