Konfidenzwert: wie sicher ist ein ausgelesenes Feld?

Ein Konfidenzwert gibt an, wie sicher sich ein System bei einem einzelnen Ergebnis ist: bei einem ausgelesenen Feld, bei der erkannten Dokumentklasse oder beim Dokument als Ganzem. Er ist eine Einschätzung, keine Aussage über die Wahrheit, und wird erst brauchbar, wenn er gemessen, kalibriert und mit festen Schwellenwerten verbunden ist.

Konfidenzwert: Einschätzung statt Gewissheit

In der Verarbeitung von Geschäftsdokumenten fällt an jeder Stufe eine Entscheidung, und zu jeder lässt sich fragen, wie belastbar sie ist. Liest das System auf einer Auftragsbestätigung einen Stückpreis, soll es nicht nur den Wert liefern, sondern auch ein Maß dafür, wie verlässlich dieser Wert ist. Ausgedrückt wird er als Zahl zwischen null und eins oder als Einteilung in Stufen wie hoch, mittel und niedrig.

Wichtig ist die Ebene. Hohe Sicherheit für das Dokument als Ganzes sagt wenig über das einzelne Feld: Eine Seite kann eindeutig als Lieferschein erkannt sein und trotzdem eine verwischte Menge enthalten. Entscheidungen im Ablauf fallen deshalb am Feld, nicht am Dokument.

Woher die Zahl kommt

Jede Stufe liefert ihre Sicherheit auf eigene Weise, und die Werte lassen sich nicht ohne Weiteres vergleichen:

• Texterkennung. Das OCR-Verfahren schätzt je Zeichen oder Wort, wie gut die Form zu einem Buchstaben passt. Ein niedriger Wert zeigt ein Lese-, kein Verständnisproblem: Die Ziffer war unscharf, der Stempel lag darüber.
• Klassifikator. Ein Modell, das Dokumenttypen unterscheidet, gibt für jede Klasse eine Wahrscheinlichkeit aus. Liegen zwei Klassen dicht beieinander, ist die Einordnung unsicher, auch wenn die höhere Zahl ordentlich aussieht; mehr dazu unter Dokumentenklassifizierung.
• Sprachmodell. Hier fehlt ein verlässlicher eingebauter Wert. Fragt man das Modell, wie sicher es sei, antwortet es mit einer plausiblen Zahl, die mit der tatsächlichen Trefferquote wenig zu tun haben kann.

Bei Sprachmodellen wird Sicherheit deshalb aus Prüfungen zusammengesetzt statt erfragt. Steht der gelesene Wert wörtlich an einer benennbaren Stelle im Dokument? Passt er zum erwarteten Format, etwa ein Datum, eine Artikelnummer nach dem Muster des Lieferanten, eine Menge mit Einheit? Stimmt er mit Bestellung oder Stammdaten überein? Jede bestandene Prüfung stützt den Wert, eine fehlende Fundstelle entwertet ihn. Wie die Felder überhaupt aus der Datei kommen, beschreibt der Artikel PDF-Daten extrahieren.

Kalibrierung: ob die Zahl hält, was sie verspricht

Ein Sicherheitswert taugt nur, wenn er kalibriert ist: Ergebnisse, die das System als sehr sicher ausweist, müssen sich tatsächlich häufiger als richtig erweisen als solche mit mittlerer Einstufung. Ob das zutrifft, steht nicht in der Beschreibung eines Werkzeugs, sondern zeigt sich nur am eigenen Material.

Dazu dient ein Prüfsatz: echte Dokumente aus dem Betrieb, deren richtige Feldwerte ein Mensch festgehalten hat. Das System verarbeitet sie, die Ergebnisse werden nach ihrer Sicherheit gruppiert, und in jeder Gruppe wird gezählt, wie viele Werte tatsächlich stimmen. Steigt die Richtigkeit nicht mit der Einstufung, eignet sich die Zahl nicht als Grundlage für Entscheidungen, so präzise sie auch aussieht. Der Satz läuft nach jeder Änderung an Modell, Regeln oder Vorverarbeitung erneut durch.

Schwellen für den Konfidenzwert: je Feld nach Folgen

Ein einziger Grenzwert für alle Felder ist bequem und falsch. Maßstab ist die Folge eines Fehlers: Ein falsch gelesener Stückpreis oder ein verrutschter Liefertermin wirkt auf Einkauf, Kalkulation und Produktionsplanung; eine falsch gelesene Ansprechperson im Freitext kaum. Entsprechend streng oder großzügig fallen die Schwellen aus.

Handhabbar ist eine Einteilung in drei Zonen:

• Durchlassen. Oberhalb der oberen Schwelle geht der Wert ohne Blick eines Menschen weiter, sofern auch der Abgleich passt.
• Markieren. Zwischen den Schwellen wird der Wert übernommen, aber sichtbar zur Prüfung gekennzeichnet, zusammen mit der Stelle im Dokument, an der er gefunden wurde.
• Sperren. Unterhalb der unteren Schwelle hält der Vorgang an, bis jemand den Wert bestätigt oder korrigiert.

Welche Grenzen gelten, ist eine fachliche Entscheidung von Einkauf oder Auftragsabwicklung und keine Voreinstellung einer Software.

Sicherheit ist nicht Richtigkeit

Ein hoher Wert bedeutet, dass das System den Preis sauber gelesen hat, nicht, dass der Preis stimmt. Bestätigt ein Lieferant einen höheren Stückpreis als bestellt, liest das System diese Zahl womöglich mit größter Sicherheit. Genau dieser Fall muss trotzdem bei einem Menschen landen. Der Abgleich mit Bestellung und Stammdaten hat deshalb Vorrang vor jeder Schwelle: Eine sicher gelesene Abweichung bleibt eine Abweichung.

Umgekehrt kann ein mäßig sicherer Wert unkritisch sein, wenn er exakt der Bestellung entspricht und an der erwarteten Stelle steht. Beide Signale – wie sicher der Wert gelesen wurde und wie gut er passt – werden getrennt geführt und erst in der Entscheidung zusammengebracht.

Fehler beim Konfidenzwert und wie wir Schwellen festlegen

• Ein Grenzwert für alles. Unkritische Felder landen unnötig in der Prüfung, kritische rutschen durch.
• Einmal gesetzt, nie überprüft. Neue Lieferanten, neue Layouts und Änderungen am Modell verschieben die Verteilung, während die Schwellen stehen bleiben.
• Nur der Wert, nicht die Stelle. Wer zur Prüfung eine Zahl ohne Fundstelle im Dokument sieht, sucht das Original selbst oder bestätigt blind.
• Die Selbstauskunft eines Sprachmodells übernehmen. Eine Zahl, die niemand am Prüfsatz überprüft hat, bleibt eine Behauptung.

Die Schwellen legen wir im Angebot gemeinsam mit der Fachabteilung fest; geprüft werden sie am Prüfsatz aus ihren eigenen Dokumenten. Feld für Feld wird entschieden, was durchgeht, was markiert und was angehalten wird. Diese Festlegung ist Abnahmekriterium und wird erneut geprüft, sobald neue Lieferanten oder Dokumentarten hinzukommen. Wie das in eine Einführung von KI-Dokumentenverarbeitung eingebettet ist, zeigt die Leistungsseite; die Grundbegriffe erklärt der Artikel intelligente Dokumentenverarbeitung.