Een GPU-server in de EU waar je AI-model op draait

Je AI-model werkt. Het draait op de laptop van een ontwikkelaar, of op een GPU die je per uur huurt bij een grote aanbieder. Zolang het een proef is, is dat prima. Maar zodra collega's er dagelijks op leunen, gaat het wringen: de laptop gaat mee naar huis, de rekening loopt door terwijl niemand het model gebruikt, en de documenten die je erin stopt staan op een server waarvan je niet weet in welk land hij staat.

Wanneer een GPU echt nodig is

Een GPU is geen statussymbool en je hebt hem lang niet altijd nodig. Een klein classificatiemodel, een zoekfunctie over je eigen documenten of een paar honderd voorspellingen per dag draaien prima op een gewone processor. Daar is VPS-hosting genoeg voor, en dat scheelt aanzienlijk. Een GPU wordt pas interessant als je een taalmodel binnen een seconde wilt laten antwoorden, als je beeld of video verwerkt, of als je zelf traint op je eigen data.

Dat is dan ook het eerste wat we in de gratis intake uitzoeken: welk model, hoeveel verzoeken per dag, en hoe snel het antwoord er moet zijn. Daar volgt uit of je een GPU nodig hebt en zo ja, welke. Een kaart met veel geheugen voor een groot taalmodel is iets anders dan een kaart voor snelle beeldherkenning. Kiezen we te ruim, dan betaal je voor stilstand. Kiezen we te krap, dan wacht je model op geheugen. Blijkt een GPU overbodig, dan vertellen we je dat direct.

Per uur huren of een vaste server

De grote aanbieders verhuren rekenkracht per uur. Handig om iets uit te proberen, en voor een training van een paar dagen vaak de slimste keuze. Maar een model dat elke werkdag draait, gebruikt die kaart acht tot twaalf uur per dag. De rekening is dan elke maand anders, en je data staat bij een aanbieder buiten de EU, met alles wat daar voor je AVG-verplichtingen aan hangt.

Wij zetten daarom een vaste GPU-server voor je neer in onze beheerde omgevingen binnen de EU, op de plek die bij jouw eisen past. Wil je de hardware zelf bezitten, dan plaatsen we jouw machine via Colocatie. Draai je er een taalmodel op voor je eigen medewerkers, dan hoort daar meestal Private LLM-hosting in de EU bij: dezelfde server, ingericht als afgeschermde assistent.

Wat we voor je inrichten

Een GPU-server is geen gewone server met een kaart erin. De drivers moeten kloppen met de runtime, de runtime met het model en alles met het besturingssysteem. Wie dat voor het eerst doet, is er zomaar een week mee bezig. Wij installeren het besturingssysteem, de drivers, de runtime en de modelserver die je model aan je applicatie aanbiedt. Toegang loopt via VPN of vanaf vaste IP-adressen, niet via een open poort naar het internet.

Daarna zet jij je model erop en test je met echte data en echte gebruikers. Meestal blijkt de belasting anders te liggen dan gedacht: een piek om negen uur, stilte in het weekend. Dat meten we en daar passen we de inrichting op aan. Rol je je software al uit met Kubernetes & containers, dan sluiten we de GPU-server daarop aan, zodat een nieuw model uitrollen net zo gaat als de rest.

Bewaking, back-ups en eigenaarschap

Een model in productie is pas af als iemand merkt dat het stopt. We bewaken verbruik, temperatuur, geheugen en beschikbaarheid. Die bewaking draait dag en nacht. Wat er bij een melding gebeurt, leggen we vooraf met je vast in een escalatie die past bij hoe kritisch het model voor je is. Modelbestanden en configuratie gaan mee in Backup & disaster recovery, zodat een nieuwe machine snel weer hetzelfde doet.

En de inrichting is van jou. Je krijgt de documentatie, de configuratie en de scripts waarmee de server is opgebouwd, dus je kunt later zelf beheren, verhuizen of een tweede machine bijzetten zonder ons. Blijf je liever bij ons, dan valt de server onder Managed hosting en houden wij hem bij. Allebei is goed. Het begint met een gratis intake waarin we uitzoeken of een GPU voor jou de moeite is.