Wie prüft man, ob eine KI alle Daten aus einem PDF ausgelesen hat?
Indem man dem Ergebnis nicht einfach glaubt, sondern es gegen eine unabhängige Lesung des Originals abgleicht: Jeder ausgelesene Wert braucht eine Fundstelle im PDF, jede Zahl im PDF muss im Ergebnis vorkommen, und Zeilenzahlen und Summen müssen aufgehen. Was keine Zuordnung findet, wird als Lücke markiert und in einem Prüfbericht ausgewiesen.
1. Eine unabhängige Basis schaffen
Das PDF wird ein zweites Mal gelesen – ohne KI: die Textebene mit klassischen Werkzeugen, bei Scans per OCR mit Konfidenzwerten. Gezählt werden Seiten, Tabellen, Zeilen, Überschriften und Fussnoten. Das ist der Massstab, an dem sich die KI-Ausgabe messen lassen muss.
2. Herkunft für jedes Element
Jeder Wert im JSON und jeder Abschnitt im Markdown verweist auf Seite und Position im Original. Damit lässt sich die Abdeckung pro Seite messen: Welche Teile des Dokuments haben eine Entsprechung im Ergebnis, welche nicht?
3. Kontrollsummen und Zahlenabgleich
Jede Zahl im Dokument muss im Ergebnis wieder auftauchen. Tabellen müssen dieselbe Zeilenzahl haben, Summen müssen aufgehen. Dieser Abgleich ist einfach, deterministisch – und findet erfahrungsgemäss die meisten Lücken.
4. Wörtliche Belege
Ausgelesene Werte müssen sich wörtlich im Quelltext wiederfinden. So fallen Werte auf, die die KI erfunden oder „verbessert“ hat.
5. Ein zweiter, unabhängiger Durchlauf
Ein zweites Modell liest dasselbe Dokument. Wo die beiden Ergebnisse voneinander abweichen, entscheidet ein Mensch – nicht der Zufall.
Das Ergebnis: ein Prüfbericht
Am Ende steht nicht nur Markdown und JSON, sondern ein Bericht mit Abdeckung pro Seite, markierten Stellen und Prüfpfad. Eine Garantie auf Fehlerfreiheit gibt es nicht – aber jede Lücke wird sichtbar, statt still zu bleiben.