Was braucht KI-Dokumentenverarbeitung on-premise oder komplett offline?
Drei Dinge: Hardware mit ausreichend GPU-Speicher für die gewählten Modelle, eine Software-Kette aus Extraktion, Modellen und Prüfung, die ohne Internetzugang läuft, und einen Betriebsprozess für Updates, Überwachung und Modellwechsel. Wie gross das ausfällt, hängt vor allem von Dokumentmenge und geforderter Prüftiefe ab.
Hardware
Grosse Modelle brauchen mehrere Rechenzentrums-GPUs mit viel Speicher; kleinere Modelle kommen mit weniger aus. Dimensioniert wird nach Dokumentvolumen, gewünschter Durchlaufzeit und danach, wie viele Modelle parallel laufen – etwa für den unabhängigen zweiten Prüfdurchlauf.
Software
- Layout-Analyse und OCR für die Basis-Extraktion.
- Lokale Inferenz-Server für die Sprachmodelle.
- Die Prüfkette: Herkunft, Kontrollsummen, wörtliche Belege, Doppel-Durchlauf.
- Prüfberichte und Protokollierung für den Audit.
Besonderheiten im Offline-Betrieb
Ohne Internet müssen Modelle und Updates kontrolliert eingespielt werden. Telemetrie und automatische Updates sind abgeschaltet, Lizenzen der Modelle müssen den Offline-Einsatz erlauben. Überwachung und Fehlersuche finden vollständig im eigenen Netz statt.
Governance
Wer hat Zugriff, was wird protokolliert, wie werden Modellwechsel dokumentiert? Diese Fragen gehören von Anfang an dazu – auch mit Blick auf den EU AI Act.
Wie man anfängt
Mit einer Analyse echter Beispieldokumente, einer Dimensionierung von Hardware und Modellen und einem Pilot. Danach ist klar, ob sich der Eigenbetrieb lohnt oder ein souveräner Dienstleister besser passt.