Draai een taalmodel op je eigen server binnen de EU

Iemand op de administratie plakt een concept van een klantcontract in een gratis chatdienst en vraagt om een samenvatting. Het scheelt hem een half uur en niemand merkt er iets van. Twee kamers verderop doet een collega hetzelfde met een personeelsdossier. Je weet dat het gebeurt, je weet niet hoe vaak, en je weet al helemaal niet waar die tekst blijft. Een eigen taalmodel haalt die verleiding weg, omdat er dan een plek is waar het wel mag.

Waarom je eigen model in de EU

De meeste taalmodellen die je kent draaien op servers buiten Europa. Alles wat je erin typt gaat mee: de offerte, de brief aan een cliënt, de mail van een boze klant. Voor veel organisaties is dat niet vol te houden. Een accountantskantoor, een zorginstelling en een gemeente hebben allemaal afspraken met hun klanten of hun toezichthouder over waar gegevens mogen staan, en een chatvenster in een browser valt daar zelden onder.

Bij private hosting staat het model op een machine die jij huurt of bezit, in een datacenter in de EU. De gewichten van het model staan op die schijf, de vraag van je medewerker gaat er naartoe en het antwoord komt terug. Er is geen derde partij die meeleest, want er is geen derde partij. Dat maakt een vraag over de AVG of een audit een stuk korter: je kunt aanwijzen waar de machine staat en wie erbij kan.

Wat een open model wel en niet kan

Open modellen zijn de laatste jaren goed geworden in precies het werk waar kantoren ze voor gebruiken. Een verslag samenvatten, een brief herschrijven naar begrijpelijk Nederlands, een vraag beantwoorden uit tweehonderd pagina's eigen documentatie, een binnenkomende mail voorsorteren naar de juiste afdeling. Voor dat soort taken merken je collega's in de praktijk weinig verschil met een betaalde chatdienst.

Bij de zwaarste taken merk je het wel. Ingewikkeld redeneren over veel stappen achter elkaar, of code schrijven van formaat, gaat bij de grootste commerciële modellen nog altijd beter. Daarom testen we niet met voorbeelden uit een folder, maar met jouw eigen stukken. Blijkt een open model het werk niet aan te kunnen, dan vertellen we je dat direct en kijken we of een deel van het proces beter zonder AI kan.

Hoe we de hosting inrichten

Onder een taalmodel zit gewone infrastructuur. We zetten een machine met een GPU neer in onze beheerde omgevingen binnen de EU, installeren de drivers en de runtime die het model serveert, en zetten daar een afgeschermd API-adres voor. Je eigen software praat met dat adres en je medewerkers werken via een eenvoudige chatpagina achter je VPN. Welke kaart en hoeveel geheugen je nodig hebt, hangt af van het model en van hoeveel mensen tegelijk een vraag stellen. Dat rekenen we uit voordat je iets huurt, en de kale rekenkant regelen we via AI-hosting (GPU).

Binnen tien werkdagen staat er een werkend prototype waar je collega's echte vragen op kunnen stellen. Pas daarna weet je of het model groot genoeg is en of de server snel genoeg antwoordt. Bewaking van geheugen, temperatuur en beschikbaarheid loopt vanaf dat moment mee, met een afgesproken escalatie als er iets stilvalt. Voor het terughalen sluiten we aan op Backup & disaster recovery, zodat een kapotte machine geen kapotte dienst betekent.

Toegang, logging en eigenaarschap

Een model op eigen grond is niet vanzelf veilig. We regelen wie erbij mag, per gebruiker of per afdeling, en leggen vast hoe lang vragen en antwoorden bewaard blijven. Soms wil je alles loggen om je werk te kunnen verantwoorden, soms wil je juist niets bewaren omdat er gegevens van cliënten langskomen. Dat is een keuze die je zelf maakt en die wij in de inrichting vastleggen, niet iets wat wij voor je invullen.

Je bent de eigenaar. Het model, de instellingen, de documenten en de logboeken zijn van jou, en de documentatie beschrijft precies welke versie er draait en waarom die gekozen is. Wil je het over een jaar bij een andere partij onderbrengen of zelf beheren, dan neem je die map mee en kan dat gewoon. Wij bouwen geen slot op de deur waar alleen wij de sleutel van hebben.