Wil je een AI-model op je eigen server draaien, dan is de eerste vraag altijd: welke AI-hardware heb je nodig? Het antwoord hangt af van hoe groot het model is dat je wilt draaien, hoeveel gebruikers er tegelijk op werken en hoe snel de antwoorden moeten komen. In deze gids leggen we uit hoe je die keuze maakt zonder duizenden euro's mis te investeren.
De kern van het verhaal is eenvoudig: een taalmodel is een groot bestand vol getallen, en om dat bestand snel te laten rekenen heb je een grafische kaart (GPU) met voldoende geheugen nodig. De rest van de server, zoals processor, werkgeheugen en opslag, is bijzaak. De GPU en vooral het GPU-geheugen bepalen wat je aankunt.
Waarom draait een AI-model op een GPU en niet op een gewone processor?
Een taalmodel voorspelt woord voor woord het volgende stukje tekst. Om dat te doen voert het per woord miljarden vermenigvuldigingen uit. Een gewone processor (CPU) doet dat soort berekeningen keurig na elkaar, een paar tegelijk. Een GPU is gebouwd om duizenden berekeningen tegelijk uit te voeren, precies het soort werk dat een taalmodel vraagt. Daarom is een model op een GPU al snel tien tot vijftig keer sneller dan op een CPU.
Je kunt kleine modellen best op een moderne CPU draaien, en voor een testopstelling of een lichte achtergrondtaak is dat prima. Maar zodra je meerdere mensen tegelijk wilt bedienen of vlotte antwoorden verwacht, wordt een GPU eigenlijk onmisbaar. Wil je begrijpen welke modellen je überhaupt kunt draaien, lees dan eerst onze gids over open-source AI-modellen voor het MKB, want de modelkeuze bepaalt de hardware, niet andersom.
Wat is VRAM en waarom is het de belangrijkste factor?
VRAM is het geheugen dat direct op de GPU zit. Het is het snelle werkgeheugen waar het model tijdens het rekenen in staat. En dit is de belangrijkste regel van deze hele gids: het model moet in het VRAM passen, anders draait het niet vlot, of helemaal niet.
Hoeveel VRAM je nodig hebt, hangt af van twee dingen: de grootte van het model en de mate van compressie.
De grootte van een model druk je uit in parameters, meestal in miljarden (aangeduid met een B, van "billion"). Een model van 7B heeft 7 miljard parameters, een model van 70B heeft er 70 miljard. Meer parameters betekent doorgaans slimmere antwoorden, maar ook meer geheugen.
Compressie heet in AI-jargon quantisatie. Elke parameter is standaard een getal dat 16 bits ruimte inneemt. Met quantisatie druk je dat terug naar bijvoorbeeld 8 of 4 bits per parameter, waardoor het model twee tot vier keer kleiner wordt. Je levert daarbij een beetje kwaliteit in, maar bij 4-bit is dat verlies vaak nauwelijks merkbaar voor zakelijk gebruik. Quantisatie is daarmee de belangrijkste knop om een groter model op bescheidener hardware te laten passen.
Een handige vuistregel voor het VRAM dat je minimaal nodig hebt: neem het aantal miljarden parameters en vermenigvuldig dat met ongeveer 0,5 tot 1 GB voor een 4-bit model, of met ongeveer 2 GB voor een onbewerkt 16-bit model. Tel daar nog wat ruimte bij op voor de context (de tekst die je erin stopt) en voor meerdere gelijktijdige gebruikers. Een 7B-model op 4-bit past zo comfortabel in 8 GB VRAM, terwijl datzelfde model onbewerkt al snel 16 GB vraagt.
Welke hardware hoort bij welke modelgrootte?
Onderstaande tabel koppelt modelgroottes aan een hardwaretier en een typisch gebruik. De VRAM-cijfers gaan uit van 4-bit quantisatie, wat voor de meeste zakelijke toepassingen de verstandige standaard is. De genoemde bedragen zijn indicatief en bedoeld om ordes van grootte te tonen, niet om als offerte te dienen.
| Modeltier | VRAM (4-bit) | Type hardware | Typisch gebruik |
|---|---|---|---|
| Klein (1B–3B) | 2–4 GB | Consumenten-GPU of moderne CPU | Classificatie, tags, eenvoudige samenvattingen |
| Middel (7B–13B) | 8–16 GB | Consumenten-GPU (midden/hoog) | Interne chatbot, e-mails opstellen, documentvragen |
| Groot (30B–34B) | 20–32 GB | Datacenter-GPU of dubbele consumentenkaart | Complexere redenering, RAG over kennisbank |
| Zeer groot (70B) | 40–48 GB | Datacenter-GPU | Kwaliteit dicht bij topcloudmodellen, hoge eisen |
De rode draad: voor veruit de meeste MKB-toepassingen is een model in de tier van 7B tot 13B ruim voldoende. Een interne assistent die e-mails opstelt, documenten samenvat of vragen over je handleidingen beantwoordt, draait prima op een enkele goede GPU met 16 GB tot 24 GB VRAM. Pas als je model complexe redenering of juridisch precieze antwoorden moet leveren, klim je op naar de grote tiers, en dan kom je bij datacenter-GPU's uit.
[ TIJDWINST ]
Bespaar 12 uur per week op het handmatig opstellen en beantwoorden van standaardvragen
Koop je een server of huur je een private GPU?
Zodra je weet welke tier je nodig hebt, komt de tweede grote keuze: zet je zelf hardware neer, of huur je rekenkracht bij een Europese partij? Beide kunnen, en het antwoord hangt af van je volume en je eisen rond soevereiniteit.
Een eigen server (on-premise) betekent dat je de hardware koopt en in je eigen pand of datacenter zet. Een instapserver met een consumenten-GPU van 16 GB tot 24 GB VRAM kost indicatief enkele duizenden euro's eenmalig. Een serverkast met een datacenter-GPU voor de grotere modellen loopt al snel op tot tienduizenden euro's. Daar staat tegenover dat je na aanschaf onbeperkt gebruikt zonder maandelijkse rekening, en dat je data letterlijk nooit je pand verlaat. Voor organisaties met harde compliance-eisen is dat het beslissende argument.
Een private GPU huren betekent dat je bij een Europese hostingpartij zoals Hetzner, Scaleway of OVHcloud een server met GPU reserveert die exclusief voor jou draait. Je deelt de kaart met niemand, je data blijft in de EU, maar je hoeft zelf geen hardware te beheren. De kosten liggen indicatief in de orde van enkele honderden euro's per maand voor een instapkaart, oplopend naar meer voor de zwaardere datacenter-GPU's. Dit is voor veel bedrijven de praktische middenweg: je test snel, je schaalt makkelijk op of af, en je zit niet vast aan een grote investering vooraf.
Een simpele vuistregel: draai je AI licht of onregelmatig, dan is huren goedkoper en flexibeler. Draai je AI intensief en dagelijks, dan wint een eigen server op termijn omdat de vaste kosten dan per gebruik laag uitvallen. Wil je die rekensom scherp maken, dan helpt ons AI-kostenoverzicht voor het MKB om huur- en aanschafkosten eerlijk naast elkaar te leggen.
Voor de meeste bedrijven adviseren we om te beginnen met een gehuurde private GPU. Je bewijst dan eerst dat de toepassing waarde levert, voordat je een serverkast koopt. Blijkt het volume hoog en structureel, dan verhuis je naar eigen hardware. Deze aanpak past ook goed bij het bredere thema van digitale soevereiniteit voor Nederlandse bedrijven, waarbij je stap voor stap meer controle naar je eigen omgeving haalt.
Welke fouten kun je het beste vermijden?
De duurste fout is te groot beginnen. Veel bedrijven denken dat ze het grootste model nodig hebben, kopen een dure datacenter-GPU, en ontdekken daarna dat een 7B-model hun taak net zo goed uitvoert. Begin klein, meet of de kwaliteit voldoet, en schaal pas op als je een concrete reden hebt.
Een tweede valkuil is quantisatie negeren. Zonder quantisatie heb je twee tot vier keer zoveel VRAM nodig, en dus veel duurdere hardware, terwijl het kwaliteitsverschil bij 4-bit voor zakelijk gebruik meestal verwaarloosbaar is. Reken je hardware altijd door op basis van een gequantiseerd model.
Een derde fout is vergeten mee te rekenen hoeveel mensen tegelijk het systeem gebruiken. Eén gebruiker die af en toe een vraag stelt heeft weinig nodig, maar tien mensen die gelijktijdig werken vragen extra VRAM en een snellere GPU. Breng dat gebruikspatroon vooraf in kaart, dan koop je precies wat past.
Als je dit soort keuzes liever niet alleen maakt, denken wij graag mee via onze lokale AI-oplossingen, waarbij we samen bepalen welk model en welke hardware bij jouw situatie horen. De juiste maat kiezen scheelt vaak duizenden euro's, zowel bij aanschaf als in maandelijkse huur.
Wil je serieus aan de slag met AI op je eigen infrastructuur, begin dan bij de basis van lokale AI voor bedrijven en breng vervolgens je concrete toepassing in kaart. Vanaf daar is het kiezen van de juiste hardware een kwestie van rekenen, niet van gokken.