Een taalmodel dat jouw vakjargon, codes en huisstijl kent

Je hebt een taalmodel getest en het werkt bijna. Het kent je vakjargon niet, haalt productcodes door elkaar en schrijft antwoorden in een toon die niet bij je bedrijf past. Je werkt eromheen met steeds langere instructies, en elke nieuwe uitzondering maakt die instructie weer een alinea langer. Ondertussen liggen er duizenden voorbeelden van hoe het wel moet in je archief: beoordeelde dossiers, goedgekeurde offertes, beantwoorde tickets. Die voorbeelden zijn precies het lesmateriaal dat het model mist.

Wanneer fine-tuning wel en niet nodig is

Meestal is het niet nodig, en dat zeggen we als eerste. Een goede instructie plus toegang tot je eigen documenten lost het grootste deel van de problemen op, en daar hebben we met Zoeken in je eigen documenten een aparte dienst voor. Fine-tuning komt pas in beeld als het model iets moet leren wat je niet in een instructie kwijt kunt. Denk aan een classificatie waar je al jaren voorbeelden van hebt, zoals het toewijzen van een inkomende klacht aan de juiste afdeling. Of een vast formaat waar het model steeds net naast zit, zoals een keuringsrapport of een offerteregel met jullie eigen artikelcodes. Of een kleiner model dat sneller en goedkoper draait dan het grote, maar dan wel op jouw taak even goed moet zijn.

Fine-tuning is geen manier om kennis in een model te stoppen die morgen weer verandert. Prijzen, voorraden en openingstijden horen in een database die het model raadpleegt, niet in de gewichten van het model. Wat je wel traint is gedrag: hoe het model leest, sorteert, formuleert en welke fouten het niet meer maakt.

Je eigen data als lesmateriaal

De data heb je al. Een accountantskantoor heeft duizenden beoordeelde stukken. Een groothandel heeft jaren aan orders die iemand handmatig naar de juiste artikelcode heeft vertaald. Een zorginstelling heeft rapportages die een ervaren collega heeft nagekeken. Wij halen die voorbeelden bij elkaar, gooien de onduidelijke en dubbele eruit en verwijderen persoonsgegevens die het model niet nodig heeft om de taak te leren. Een paar honderd schone voorbeelden leveren meer op dan tienduizend rommelige.

Als basis nemen we een open model waarvan de gewichten vrij beschikbaar zijn. Daar trainen we op verder. Het resultaat is een modelbestand dat van jou is, net als de broncode bij Software op maat. Je krijgt het trainingsscript erbij, zodat je over een jaar met nieuwe voorbeelden opnieuw kunt trainen zonder ons te hoeven bellen.

Trainen op een server binnen de EU

Trainen gebeurt op een GPU-server binnen de EU. Je dossiers gaan niet naar een Amerikaanse leverancier en ze trainen geen model van iemand anders. Na afloop staan de trainingsdata en het model op een plek die jij beheert. Wil je het model daarna in productie draaien, dan kan dat op je eigen hardware of via Private LLM-hosting in de EU. We leggen vast welke bronnen in de training zijn gegaan en waarom, want dat is precies wat de EU AI Act straks van je vraagt. Voor de formele kant van dat dossier is er AI-governance & audits.

Meten of het model beter is geworden

Voordat we beginnen zetten we een deel van je voorbeelden apart. Die ziet het model tijdens het trainen niet. Daarna leggen we dezelfde vragen voor aan het oorspronkelijke model en aan het getrainde model en tellen we wie er vaker goed zit. Zo weet je of de training iets heeft opgeleverd, in plaats van dat het alleen zo voelt. Binnen tien werkdagen heb je een eerste getrainde versie en die telling. Is het nieuwe model niet beter, dan vertellen we je dat direct en stoppen we, of we gaan terug naar de instructie en de documenten. Is het wel beter, dan bouwen we het via AI-implementatie in de schermen waar je team al in werkt.