De meeste bedrijven gebruiken voor elke AI-taak hetzelfde zware model. Een factuur classificeren, een adres uit een e-mail halen, een ticket categoriseren: alles gaat naar hetzelfde frontier-model, tegen hetzelfde tarief. Dat is ongeveer even efficiënt als een vrachtwagen inzetten om een brief te bezorgen.
Een klein taalmodel (SLM) is een taalmodel met doorgaans één tot vijftien miljard parameters, klein genoeg om op één GPU of zelfs op een goede werkplek te draaien, en daarmee tientallen keren goedkoper per verwerkte eenheid dan een frontier-model via een API. Voor afgebakende, herhalende taken is het verschil in kwaliteit inmiddels klein genoeg om het prijsverschil niet te rechtvaardigen.
Deze gids legt uit wat kleine modellen wel en niet kunnen, wat ze in de praktijk schelen, en hoe je met modelrouting het beste van beide combineert.
Wat is een klein taalmodel precies?
De grens is niet formeel vastgelegd, maar in de praktijk wordt gesproken over kleine taalmodellen bij ruwweg één tot vijftien miljard parameters. Bekende voorbeelden komen uit de Mistral-, Llama-, Qwen-, Gemma- en Phi-families, vrijwel allemaal met open gewichten die je zelf mag draaien.
Het onderscheidende kenmerk is niet de score op een algemene benchmark, maar waar het model past. Een model van deze omvang draait op één professionele GPU, in een private cloud, of op een moderne Apple Silicon-machine. Daarmee vervalt de belangrijkste reden om je data naar een externe API te sturen.
Belangrijk is wat een klein model níet is: het is geen afgeslankte versie van een frontier-model met dezelfde brede kennis. Het is een model dat op een smaller terrein bruikbare prestaties levert. Wie een klein model beoordeelt op algemene kennis, meet het verkeerde. Voor de bredere vergelijking van beschikbare modellen verwijzen we naar onze gids over open-source AI-modellen.
Waarom is een klein model vaak goed genoeg?
Bedrijfstaken zijn zelden open vragen. Ze zijn herhalend, hebben een beperkte set mogelijke uitkomsten en spelen zich af binnen één domein. Precies daar presteren kleine modellen goed, zeker na afstemming op voorbeelden uit je eigen praktijk.
| Aspect | Klein model (1-15B) | Frontier-model via API |
|---|---|---|
| Kosten per verwerkte eenheid | zeer laag, vaak alleen infrastructuur | tot tientallen keren hoger |
| Waar je data staat | in je eigen omgeving | bij de aanbieder |
| Latency | milliseconden tot enkele seconden | afhankelijk van de dienst |
| Brede kennis en redeneren | beperkt | sterk |
| Complexe, meerstaps taken | zwak | sterk |
| Afhankelijkheid van een leverancier | geen, bij open gewichten | volledig |
De verschuiving van de afgelopen jaren zit in die eerste rijen. Het kwaliteitsverschil op smalle, domeinspecifieke taken is volgens brancherapportages sterk teruggelopen, terwijl het prijsverschil groot is gebleven. Dat maakt de afweging voor herhalend werk anders dan twee jaar geleden.
Let op: dit zijn indicatieve verhoudingen uit de markt, geen belofte over jouw specifieke taak. De enige betrouwbare toets is een eigen testset met honderd tot driehonderd echte gevallen, waarop je beide opties naast elkaar meet.
Wat scheelt het in kosten?
Het verschil zit in de kostenstructuur, niet alleen in het tarief. Bij een API betaal je per verwerkte eenheid, dus je rekening groeit recht evenredig met succes. Bij een eigen klein model betaal je hardware of huur, en daarna kost extra volume vrijwel niets.
Dat maakt het omslagpunt afhankelijk van je volume. Bij enkele honderden verwerkingen per maand is een API vrijwel altijd goedkoper en eenvoudiger. Bij tienduizenden verwerkingen per maand keert dat om, en bij honderdduizenden is het verschil niet meer subtiel. Onze analyse van AI zonder API-kosten rekent dat omslagpunt stap voor stap door.
Er is een tweede besparing die vaak wordt vergeten: bij een eigen model verdwijnt de variabele component uit je begroting. Je kunt een proces bedrijfsbreed uitrollen zonder dat de kosten meebewegen, wat de businesscase van automatisering veel eenvoudiger maakt.
[ TIJDWINST ]
Bespaar 7 uur per week op repetitieve classificatie van binnenkomende documenten en e-mails
Welke taken passen wel en niet bij een klein model?
De scheidslijn loopt langs de breedte van de taak, niet langs de moeilijkheid ervan.
Geschikt voor een klein model:
- Classificeren en labelen (tickets, e-mails, documenten, sentiment)
- Gestructureerde gegevens uit vrije tekst halen (bedragen, data, namen, referenties)
- Samenvatten van korte tot middellange teksten binnen één domein
- Standaardantwoorden opstellen op basis van een vaste kennisbron
- Vertalen en herschrijven binnen een vast format
- Voorbewerking: filteren, routeren en verrijken voordat een zwaarder model iets ziet
Beter bij een frontier-model:
- Meerstaps redeneren waarbij tussenstappen elkaar beïnvloeden
- Taken die brede algemene kennis vereisen buiten je eigen domein
- Complexe code schrijven of doorgronden
- Open gesprekken met klanten waarin alles gevraagd kan worden
- Uitzonderingen en randgevallen waar de vraag zelf onduidelijk is
De praktische conclusie is dat de meeste bedrijven beide nodig hebben, maar zelden in de verhouding die ze nu gebruiken.
Hoe zet je modelrouting op?
Modelrouting is het splitsen van je verkeer: voorspelbare taken naar een klein model, uitzonderingen naar een groot model. In moderne productieopstellingen gaat een groot deel van het volume naar het kleine model, waarbij alleen de complexe gevallen worden doorgezet.
Een werkbare aanpak in vier stappen:
- Meet je huidige verkeer. Welke taken gaan nu naar een AI-model, hoe vaak, en hoeveel kost elk type? Zonder deze uitsplitsing is elke besparing een schatting.
- Selecteer één herhalende taak met veel volume en een beperkte set uitkomsten. Classificatie is bijna altijd de beste eerste kandidaat.
- Bouw een testset en vergelijk. Draai dezelfde honderd tot driehonderd gevallen door het kleine en het grote model en vergelijk de scores. Accepteer het kleine model alleen boven een vooraf afgesproken drempel.
- Bouw een escalatieregel. Bij lage zekerheid, een onbekend patroon of een expliciete uitzondering gaat het geval alsnog naar het grote model of naar een mens.
Die escalatieregel is wat de opzet veilig maakt. Je kiest niet tussen goedkoop en goed, je kiest goedkoop waar het kan en goed waar het moet.
Welke hardware heb je nodig?
Voor een model in deze klasse is de hoeveelheid videogeheugen bepalend, niet de rekenkracht van de processor. Een enkele professionele GPU volstaat voor de meeste bedrijfsopstellingen, en voor kleinere modellen en lage volumes is een goed uitgeruste Apple Silicon-machine al bruikbaar voor een proefopstelling.
Je hoeft niet meteen te kopen. Een private GPU huren bij een Europese aanbieder is een gangbare tussenstap: je houdt je data binnen een afgebakende omgeving zonder vooraf te investeren. Onze gids over AI-hardware voor bedrijven behandelt de keuze tussen kopen en huren met concrete richtlijnen voor geheugen per modelgrootte.
Wanneer die stap überhaupt verstandig is, hangt af van volume, gevoeligheid van de data en beschikbare kennis. Onze afweging in wanneer je lokale AI moet kiezen geeft daarvoor een besliskader.
Conclusie: kies het model per taak, niet per bedrijf
Kleine taalmodellen zijn geen goedkope vervanging van frontier-modellen, maar het juiste gereedschap voor het meeste werk dat bedrijven daadwerkelijk automatiseren. Herhalende, afgebakende taken vragen geen model dat over alles kan meepraten.
De winst zit in de combinatie: routeer het voorspelbare volume naar een klein model dat je zelf draait, escaleer de uitzonderingen, en meet beide tegen dezelfde testset. Onze pijler over lokale AI voor bedrijven beschrijft het bredere plaatje, en wij helpen via lokale AI bij het bepalen van het omslagpunt en de opzet.