On-premise LLM implementeren: stappenplan voor bedrijven

Een on-premise LLM implementeren betekent dat je een taalmodel op je eigen hardware of in je eigen private cloud draait, zonder dat je data naar een externe API van OpenAI of Google gaat. Voor bedrijven die met gevoelige klant-, patiënt- of bedrijfsgegevens werken is dat vaak het verschil tussen wel of niet met AI aan de slag mogen. In dit stappenplan loop je van use-case tot beheer, zodat je weet wat er komt kijken voordat je begint.

De aanpak is bewust praktisch. Je hoeft geen datacenter te bouwen om te starten, maar je moet wel de juiste keuzes maken rond model, hardware en integratie. Deze gids is een verdieping op onze bredere pijler over lokale AI voor bedrijven en richt zich specifiek op de implementatie.

Stap 1: Kies de use-case (en begin klein)

Begin niet bij het model, maar bij het probleem. Een on-premise LLM is een middel, geen doel. Kies één concrete taak waar het model waarde levert en waar je vandaag tegen een grens aanloopt met publieke AI-diensten. Denk aan een interne kennisassistent die vragen beantwoordt op basis van je eigen documentatie, een tool die contracten samenvat, of een classificatie-oplossing die inkomende e-mail sorteert.

Kies een use-case die aan drie voorwaarden voldoet. Ten eerste is er een duidelijke reden om lokaal te draaien: gevoelige data, compliance-eisen of het simpelweg niet mogen versturen van gegevens naar derden. Ten tweede is de taak afgebakend genoeg om te meten of het werkt. Ten derde is er genoeg volume om de investering te rechtvaardigen. Een assistent die drie keer per week gebruikt wordt, rechtvaardigt geen eigen GPU-server.

Schrijf op wat "goed genoeg" betekent voordat je iets bouwt. Bij een samenvattingstaak kan dat zijn: 90 procent van de samenvattingen is bruikbaar zonder correctie. Zo'n norm voorkomt dat je eindeloos blijft finetunen op een model dat eigenlijk al voldoet.

Stap 2: Welk open-source model en welke grootte kies je?

Voor een on-premise LLM kies je vrijwel altijd een open-source model, omdat je de gewichten zelf op je hardware moet kunnen draaien. De gangbare families in 2026 zijn Llama (Meta), Mistral, Qwen (Alibaba) en Gemma (Google). Ze zijn allemaal gratis te downloaden, verschillen in licentie en sterktes, en zijn beschikbaar in meerdere groottes. In onze gids over open-source AI-modellen voor het mkb vergelijken we deze families uitgebreider.

De belangrijkste knop die je omdraait is de grootte, uitgedrukt in het aantal parameters (miljarden, aangeduid als B). Een model van 7B of 8B draait op een enkele consumenten-GPU of zelfs op een moderne CPU, en is vaak prima voor classificatie, samenvattingen en eenvoudige vraag-antwoord. Modellen van 30B tot 70B leveren merkbaar betere redenering, maar vragen serieuze GPU-capaciteit. Kies niet automatisch het grootste model: een kleiner model dat past bij je taak is goedkoper, sneller en makkelijker te beheren.

Let ook op kwantisatie. Door de gewichten te comprimeren naar bijvoorbeeld 4-bit (formaten als GGUF of AWQ) past een model in veel minder geheugen, met beperkt kwaliteitsverlies. Zo draai je een model dat op papier 40 GB nodig heeft toch op hardware met 12 tot 16 GB videogeheugen. Voor de meeste mkb-bedrijven is een gekwantiseerd model van 7B tot 14B het beste vertrekpunt.

Stap 3: Hardware of private cloud regelen

Nu weet je globaal welk model je wilt draaien, dus kun je de hardware bepalen. Er zijn drie realistische opties. De eerste is eigen hardware op locatie: een server of workstation met een of meer GPU's onder je eigen beheer. Dit geeft de meeste controle en houdt alle data binnen je eigen muren, maar vraagt een investering vooraf en iemand die het beheert.

De tweede optie is een private cloud: je huurt een dedicated GPU-server bij een Europese aanbieder, waar alleen jouw workload op draait. Je data blijft binnen de EU en gaat niet naar een gedeelde AI-dienst, terwijl je de aanschaf en het fysieke beheer uitbesteedt. Voor veel bedrijven is dit de pragmatische middenweg.

De derde optie is een hybride opzet: lichte modellen lokaal, zwaardere taken op een private GPU in de cloud. Het geheugen (VRAM) van de GPU is de bepalende factor: dat moet groter zijn dan het model plus wat ruimte voor de context. Reken voor een gekwantiseerd 7B-model op 8 tot 12 GB, voor een 70B-model al snel op 40 GB of meer.

Stap 4: Hoe stel je de inference-software in?

De inference-software is de laag die het model laadt en er verzoeken naartoe stuurt. Je schrijft dit niet zelf; er zijn volwassen tools die precies dit doen. De keuze hangt af van je schaal.

Voor starten, prototypes en kleine teams is Ollama de makkelijkste weg. Je installeert het, haalt met één commando een model op en krijgt direct een lokale API. Het draait prima op een enkele machine en verbergt veel complexiteit. llama.cpp zit daar dicht tegenaan en blinkt uit in draaien op CPU of bescheiden hardware, met sterke ondersteuning voor gekwantiseerde GGUF-modellen.

Zodra je meerdere gelijktijdige gebruikers of hoge doorvoer nodig hebt, is vLLM de standaard. Het is gebouwd voor productie en verwerkt veel verzoeken tegelijk veel efficiënter dankzij technieken die het GPU-geheugen slim benutten. Een gangbaar patroon is: begin met Ollama om te bewijzen dat de use-case werkt, en migreer naar vLLM als het naar productie gaat. Alle drie bieden een API die lijkt op die van OpenAI, waardoor je bestaande code met minimale aanpassingen kunt hergebruiken.

Stap 5: Koppel het model aan je systemen en data

Een kaal model kent je bedrijf niet. Het weet niets van je producten, je klanten of je interne procedures. De krachtigste manier om dat op te lossen zonder het model opnieuw te trainen is RAG (retrieval-augmented generation): je haalt bij elke vraag de relevante stukken uit je eigen documenten op en geeft die als context mee aan het model. Zo antwoordt het op basis van jouw actuele informatie in plaats van alleen zijn trainingsdata. We leggen dit volledig uit in onze gids over RAG voor je bedrijf.

In de praktijk bouw je hiervoor een pijplijn: je documenten worden in stukjes geknipt, omgezet naar embeddings en opgeslagen in een vectordatabase. Bij een vraag zoekt het systeem de meest relevante stukjes en stuurt die samen met de vraag naar je on-premise LLM. Het grote voordeel bij een lokale opzet is dat zowel de documenten als de vragen je infrastructuur nooit verlaten.

Naast RAG koppel je het model aan de systemen waar het werk gebeurt: je CRM, je ticketsysteem, een interne chatinterface of een e-mailverwerker. Houd deze integratie modulair, zodat je het onderliggende model later kunt vervangen zonder de rest opnieuw te bouwen. Dit maatwerk is precies het soort verbindingswerk dat we via lokale AI-oplossingen bouwen.

Stap 6: Beheer, monitoring en toegang

Een on-premise LLM is geen project dat af is na de livegang; het is een systeem dat je beheert. Vier zaken horen vanaf dag één op orde te zijn.

Ten eerste updates: nieuwe modelversies verschijnen regelmatig en zijn vaak beter. Plan hoe je een nieuw model test tegen je "goed genoeg"-norm voordat je het in productie zet. Ten tweede monitoring: houd bij hoe snel het model antwoordt, hoeveel het gebruikt wordt en of de kwaliteit stabiel blijft. Zo zie je problemen voordat gebruikers klagen.

Ten derde toegangscontrole: leg vast wie het model en de gekoppelde data mag bevragen, en gebruik authenticatie op de API. Een lokaal model is niet automatisch veilig als iedereen op het netwerk erbij kan. Ten vierde logging: bewaar wie wat wanneer vroeg, zodat je incidenten kunt onderzoeken en aan compliance-eisen voldoet. Deze beheerlaag hangt nauw samen met bredere AI-databeveiliging in je bedrijf, zeker als je met gevoelige gegevens werkt.

Checklist en indicatieve doorlooptijd

Onderstaande tabel vat de zes stappen samen met een indicatieve inspanning. De cijfers zijn richtinggevend: een afgebakende use-case op bescheiden hardware zit aan de onderkant, een productieopzet met meerdere integraties aan de bovenkant.

Wil je niet alles zelf uitzoeken? Wij helpen mkb-bedrijven van use-case tot werkende, beheerde opzet, met de juiste modelkeuze en hardware voor jouw situatie. Zo start je met AI zonder je data uit handen te geven.