Het taalmodel zelf
Draait als eigen dienst op uw machine, met Ollama of llama.cpp als motor. Het model staat als bestand op uw eigen schijf, dus het blijft ook werken als de internetverbinding wegvalt.
Dienst
AI op eigen hardware
Het taalmodel draait bij u in het gebouw. Geen prompt, document of klantgesprek verlaat het pand.
Het punt
Wat er níet gebeurt
Een taalmodel op uw eigen hardware betekent dat niks de deur uit gaat. Niet de vragen die u stelt, niet de documenten die u analyseert, en niet de gesprekken met uw klanten.
Publieke dienst
- Uw teksten gaan naar een server in het buitenland
- Voorwaarden kunnen morgen veranderen
- U kunt niet controleren wat ermee gebeurt
Model bij u
- Alles blijft binnen uw netwerk
- Geen voorwaarden van een externe partij
- U kunt aantonen hoe het werkt, ook aan een toezichthouder
Praktisch
Wat er dan op uw hardware staat
Een lokaal taalmodel vraagt niet veel meer van een machine dan een bestands- of mediaserver. Het is gewone bedrijfsapparatuur, geen exotische installatie. Op dezelfde machine waar het model draait, draaien ook uw andere zelfgehoste diensten: bestanden, agenda, monitoring en documentbeheer.
De agent die het model gebruikt
Een agent met een eigen account en eigen rechten, die zijn vragen naar dat model stuurt in plaats van naar een externe leverancier. Welke systemen en mappen hij mag benaderen, legt u vooraf vast.
Uw eigen bronnen
Documenten, e-mails en contracten worden op diezelfde machine doorzoekbaar gemaakt. Daardoor blijft niet alleen het antwoord binnen uw netwerk, maar ook de vraag en de zoekopdracht erachter.
Grenzen
Wat een lokaal model wel en niet kan
Een lokaal model is kleiner dan de grootste publieke modellen, en het antwoord komt er soms wat rustiger uit. Voor het werk waar het in een bedrijf om gaat, zoals contractcontrole, documentclassificatie, support-triage en boekhoudvoorbereiding, maakt dat in de praktijk geen verschil.
Waar u het wel merkt, is bij open, creatief taalwerk: een lang stuk laten schrijven of een ingewikkelde redenering in één keer laten maken, gaat bij een groot publiek model beter. Wij zeggen dat liever vooraf dan dat u het zelf ontdekt. In de praktijk kiezen bedrijven daarom vaak per soort werk: wat vertrouwelijk is blijft lokaal, en voor de rest mag een publieke dienst gebruikt blijven worden.
De tweede grens is hardware. Hoe groter het model, hoe zwaarder de machine, en op een gegeven moment weegt dat niet meer op tegen wat het extra oplevert. Wij kijken daarom eerst welk werk lokaal moet blijven en zoeken daar het kleinste model bij dat de klus aankan, in plaats van het grootste model dat nog past.
Is dit merkbaar langzamer dan een publieke dienst?+
Bij een korte vraag is het verschil klein, bij een lang antwoord ziet u de tekst wat rustiger verschijnen. Voor werk dat de agent zelf oppakt, zoals een stapel facturen of documenten 's nachts doorlopen, is de snelheid per vraag niet interessant: het is af voordat u er weer naar kijkt.
Welke hardware heb ik hiervoor nodig?+
Een server met een geschikte videokaart, in dezelfde categorie als een stevige werkplekmachine. Wat er precies nodig is hangt af van het model dat bij uw werk past en van hoeveel mensen er tegelijk gebruik van maken, dus dat rekenen we per situatie uit in plaats van er een standaardlijstje bij te leveren.
Kan het model later mee-upgraden?+
Ja, want het model is een bestand dat u vervangt en niet een dienst waar u aan vastzit. Past een nieuwere versie binnen dezelfde machine, dan is het een wisseling zonder nieuwe inrichting. Vraagt hij meer, dan is dat een hardware-afweging die u op dat moment maakt.
Voor wie
Beroepen waar dit niet optioneel is
Advocaten, artsen en accountants kunnen facturen, dossiers of patiëntgegevens niet zomaar naar een Amerikaanse dienst sturen: hun beroepsgeheim staat dat niet toe. Voor die sectoren is een lokaal model geen voorkeur maar de enige werkbare vorm. Voor anderen is het dezelfde keuze als het BedrijfsLab: controle en zekerheid.
Verder
Waar dit op aansluit
AI op eigen hardware is de plek waar twee keuzes samenkomen: dezelfde zelfgehoste aanpak als het BedrijfsLab, waarbij alles op uw eigen apparatuur staat, en dezelfde zelfstandigheid als onze AI-agent infrastructuur, waarbij een agent werk van begin tot eind afrondt. Beide kunt u los afnemen. Hier vallen ze samen.
Interactief element
Interesse-element: haalbaarheid
Lead-element: wat voor werk moet lokaal blijven, plus e-mailveld.
Volgende stap
Uitzoeken of dit bij uw werk past
Stuur ons een bericht over wat er in uw bedrijf nooit naar buiten mag, en wat u liever niet bij een Amerikaanse leverancier ziet staan. Dan kijken wij of een lokaal model daar echt voor nodig is, en wat dat aan hardware vraagt.