Het taalmodel zelf
Draait als eigen dienst op uw machine, met Ollama of llama.cpp als motor. Het model staat als bestand op uw eigen schijf, dus het blijft ook werken als de internetverbinding wegvalt.
Dienst
AI op eigen hardware
Het taalmodel draait bij u in het gebouw. Geen prompt, document of klantgesprek verlaat het pand.
Het punt
Wat er níet gebeurt
Publieke dienst
- Uw teksten gaan naar een server in het buitenland
- Voorwaarden kunnen morgen veranderen
- U kunt niet controleren wat ermee gebeurt
Model bij u
- Alles blijft binnen uw netwerk
- Geen voorwaarden van een externe partij
- U kunt aantonen hoe het werkt, ook aan een toezichthouder
Praktisch
Wat er dan op uw hardware staat
De agent die het model gebruikt
Een agent met een eigen account en eigen rechten, die zijn vragen naar dat model stuurt in plaats van naar een externe leverancier. Welke systemen en mappen hij mag benaderen, legt u vooraf vast.
Uw eigen bronnen
Documenten, e-mails en contracten worden op diezelfde machine doorzoekbaar gemaakt. Daardoor blijft niet alleen het antwoord binnen uw netwerk, maar ook de vraag en de zoekopdracht erachter.
Grenzen
Wat een lokaal model wel en niet kan
Waar u het wel merkt, is bij open, creatief taalwerk: een lang stuk laten schrijven of een ingewikkelde redenering in één keer laten maken, gaat bij een groot publiek model beter. Wij zeggen dat liever vooraf dan dat u het zelf ontdekt. In de praktijk kiezen bedrijven daarom vaak per soort werk: wat vertrouwelijk is blijft lokaal, en voor de rest mag een publieke dienst gebruikt blijven worden.
De tweede grens is hardware. Hoe groter het model, hoe zwaarder de machine, en op een gegeven moment weegt dat niet meer op tegen wat het extra oplevert. Wij kijken daarom eerst welk werk lokaal moet blijven en zoeken daar het kleinste model bij dat de klus aankan, in plaats van het grootste model dat nog past.
Is dit merkbaar langzamer dan een publieke dienst?+
Bij een korte vraag is het verschil klein, bij een lang antwoord ziet u de tekst wat rustiger verschijnen. Voor werk dat de agent zelf oppakt, zoals een stapel facturen of documenten 's nachts doorlopen, is de snelheid per vraag niet interessant: het is af voordat u er weer naar kijkt.
Welke hardware heb ik hiervoor nodig?+
Een server met een geschikte videokaart, in dezelfde categorie als een stevige werkplekmachine. Wat er precies nodig is hangt af van het model dat bij uw werk past en van hoeveel mensen er tegelijk gebruik van maken, dus dat rekenen we per situatie uit in plaats van er een standaardlijstje bij te leveren.
Kan het model later mee-upgraden?+
Ja, want het model is een bestand dat u vervangt en niet een dienst waar u aan vastzit. Past een nieuwere versie binnen dezelfde machine, dan is het een wisseling zonder nieuwe inrichting. Vraagt hij meer, dan is dat een hardware-afweging die u op dat moment maakt.
Voor wie
Beroepen waar dit niet optioneel is
Verder
Waar dit op aansluit
Interactief element
Interesse-element: haalbaarheid
Lead-element: wat voor werk moet lokaal blijven, plus e-mailveld.
Volgende stap
Uitzoeken of dit bij uw werk past
Stuur ons een bericht over wat er in uw bedrijf nooit naar buiten mag, en wat u liever niet bij een Amerikaanse leverancier ziet staan. Dan kijken wij of een lokaal model daar echt voor nodig is, en wat dat aan hardware vraagt.