Automatische Transkription (OCR), Annotation und Translation mit Generativer KI (GenKI)

Alexander Lasch

Lees hierdie teks  / Read this text in Afrikaans / English via Google Translate.

Seit der Veröffentlichung von NotebookLM (erstmals im Mai 2023, in Deutschland im Juni 2024) haben wir im Kontext des MKNetwork immer wieder die Möglichkeiten geprüft, die sich mit generativer KI im Hinblick auf (1) die Transkription handschriftlicher Texte, (2) die teilautomatische Auszeichnung (z.B. von Named Entities), (3) die automatische Übersetzung und schließlich (4) die Erfassung strukturierten Wissens zur Formulierung von semantischen Triples (Statements) zum je aktuellen Zeitpunkt bieten. Bis zuletzt war die Transkription von Handschriften die größte Herausforderung. Mit der Veröffentlichung von Gemini 3 (Pro) und dem Rückgriff auf Googles AI Studio ist nun der Punkt erreicht, an dem Handschriften zuverlässig transkribiert werden können. Aber Gemini braucht ein wichtiges Hilfsmittel.

Ausgangspunkt war für uns der Artikel “Has Google Quietly Solved Two of AI’s Oldest Problems? A mysterious new model currently in testing on Google’s AI Studio is nearly perfect on automated handwriting recognition but it is also showing signs of spontaneous, abstract, symbolic reasoning” von  Mark Humphries, der am 17. Oktober 2025 bei Generative History erschien. Humphries besprach eine App, die in Googles AI Studio scheinbar mühelos und mit bisher unerreichter Genauigkeit Handschriften transkibierte. Erste Testreihen, die wir unmittelbar mit unterschiedlichen Handschriften und Drucken in Fraktur fuhren, blieben allerdings weit hinter unseren Erwartungen zurück. Mit der Veröffentlichung von Gemini 3 Pro nahmen wir aber noch einen Anlauf. In den kommenden Wochen werden wir unsere Workflows auf die neuen Möglichkeiten anpassen und dann die Transkription und Übersetzung der Genadendaler Quellen angehen.

1. Frei verfügbare Transkription, Normalisierung, Kollationierung, Anreicherung (XML) und Edition (HTML) mit den MKNetwork Apps

1.1 MKNetwork Transcription Desk

Die via Googles AI Studio erzeugte App MKNetwork Transcription Desk hat diese Funktionen:

• • Die App nimmt ab Version 0.4 (bis zu 30) Images (*.jpg oder *.png) bzw. Sammlungen (*.pdf) oder URLs von Bilddigitalisaten an und fertigt ein Transkript der Quelle(n). Bei doppelsetigen Digitalisaten empfiehlt es sich, die Anzahl der eingelesenen URLs oder Images zu halbieren.
  • Die Möglichkeit, mit einem separaten Prompt die Transkription zu beeinflussen, wurde in Version 0.4 wieder stärker eingeschränkt. In der Praxis führte das zu teils erheblichen Problemen.
  • Ab der Version 0.4 können Nutzer:innen außerdem aus aktuellen Modellen für die Transkription wählen.
  • Der Transcription Desk in der App erlaubt es, im erzeugten Transkript direkt Änderungen vorzunehmen und dabei die eingebundene Softwaretastatur zu nutzen.
  • Der transkribierte Text kann kopiert und exportiert werden (*.txt).

Wie können Sie dies selbst für Ihre Arbeitsumgebungen einsetzen? Das zeige ich in diesem Instruktionsvideo:

Die Ergebnisse sind beeindruckend und beinahe fehlerfrei (wenn man von Erkennungs- oder Zeilentrennungsproblemen absieht). Nur zur Sicherheit haben wir Gemini einen Satz Sonderzeichen zur Verfügung gestellt, die für die Transkription Herrnhutischer Handschriften in eScriptorium von Theresa Beckert, Juan Garcés, Sabine Hollmann und mir über die letzten Jahre in einer *.json-Datei zusammengestellt und für den Einsatz im AI Studio und die Veröffentlichung neu geordnet worden sind (Theresa Beckert, Juan Garcés, Sabine Hollmann & Alexander Lasch  [2025]. MKNetwork Keyboard für eScriptorium. Zenodo. DOI: 10.5281/zenodo.17716143). Gemini 3 Pro bindet die Tastatur offenbar nicht nur für den Editor ein, sondern scheint auch seine Transkriptionen wesentlich zu verbessern, wenn es auf einen definierten Sonderzeichensatz zurückgreifen und diesen für den Output nutzen kann, wie die folgenden Beispiele zeigen, die ohne Training und Korrektur den jeweils ersten Output einer unbekannten Handschrift (Kurrent) / Druckschrift (Fraktur) zeigen:

Nicht nur die Erkennung von Handschriften profitiert ganz wesentlich von den Möglichkeiten des neuen Modells (mit Unterstützung durch einen Sonderzeichensatz), sondern auch die Erkennung von Fraktur:

1.2 MKNetwork Normalization Desk

Für die Normalisierung setzen wir den MKNetwork Normalization Desk ein, der ebenfalls (seit dem 14.12.2025) öffentlich freigegeben ist. Aus dem Output des Transcription Desk (und der Workbench weiter unten) lässt sich hier automatisch ein normalisierter Text erzeugen, der dann zur Grundlage für die automatische Übersetzung z.B. nach Englisch und Afrikaans wird. Der Output kann als TXT oder als TSV exportiert sowie einfach in die Zwischenablage zur Weiterverarbeitung kopiert werden.

Im Video stelle ich beide Apps (nach Update am 14.12.2025) im Zusammenspiel vor:

1.3 MKNetwork Disambiguation Desk

Neu hinzu kommt ab dem 18.01.2026 die App MKNetwork Disambiguation Desk, mit der es möglich ist, zwei unterschiedliche Transkriptionen zu einem Text miteinander zu vergleichen – sie zu kollationieren. Das ist notwendig, um schnell auf die Stellen in einer Transkription aufmerksam zu werden, die durch GenKI in der Transkription unterschiedlich behandelt werden. Je nach Güte der eingespeisten Quellen sind hier ganz unterschiedliche Qualitätsstufen (die man mit dem Transcript Accuracy Auditor von Doug Boyd leicht ermitteln kann) erreichbar, die man dann – wenn z.B. eine digitale Edition das Ziel ist – mit dem Disambiguation Desk leicht verbessern kann. Denn nichts kann GenKI so gut, wie einen Input zu vergleichen. Die Kollationierung sollte, bei Bedarf, der Normalisierung vorgeschaltet werden.

1.4 MKNetwork XML Editor

Die Workbench ist unserem XML Editor gewichen, der in einer Testversion zugänglich ist.

Funktionalität:

• • Aus einem Transkript (zu übergeben aus dem Transcription Desk) wird automatisch ein XML-File nach TEI-Standard und eine entsprechende Ansicht generiert.
  • Für das gesamte Dokument kann eine automatische Erkennung von Personen-, Orts- und Organisations-, Tier- und Planzennamen sowie Daten vorgenommen werden (die im Editor ausgezeichnet und im XML-File automatisch erzeugt werden).
  • Daneben ist die Möglichkeit gegeben, die Tags im WYSIWYG-Editor manuell zu vergeben oder zu ändern und via Suche (im Bild) mit Normdatenbanken wie der GND oder Informationen aus der Wikipedia abzugleichen als Wert für das Attribut “key”. Wird ein Eintrag gefunden, wird die URL übernommen und als Wert für das Attribut “ref” in den Tag geschrieben.
  • Rudimentäre Formatierung (Fettdruck, Kursivdruck, Unterstreichung, Durchstreichung) kann im Editor vorgenommen werden und wird im XML-File entsprechend hinterlegt.
  • Export nach XML (TEI-Standard) in der angereicherten Fassung ist möglich.

1.5  MKNetwork HTML Editor

Der HTML Editor ist geeignet, auf einfachem Wege lesbare HTML-Inhalte aus Transkription und Normalisierung wie automatischen Übersetzungen zu erzeugen.

Funktionalität:

• • Aus Transkript und Normalisierung (und weiteren Übersetzungen, zu übergeben als TSV z.B. aus dem Normalization Desk) werden automatisch ein HTML-File und eine entsprechende Ansicht generiert.
  • Liegen die transkribierten Quellen online vor, kann die URL-Basis zu den Images optional angegeben werden, um sie im Kontext des Textes vertikal oder horizontal in die Seite einzubinden.
  • Export nach HTML in der angereicherten Fassung möglich.

2. Weiterentwicklungen

2.1 MKNetwork Wikimedia Transcription

Es handelt sich hierbei um ein erweitertes Transcription Desk, das zwei Ausgabeoptionen anbietet. Zum einen den strukturierten Text wie bisher und zum anderen einen automatisch generierten Wikitext, der den Editionsrichtlinien von Wikisource und den Formatierungsregeln der Wikimedia entspricht.

2.2 MKNetwork Wikitext Editor

Der Output aus der App Wikimedia Transcription kann im WYSIWYG-Editor weiter bearbeitet werden. Das schließt einfache Layoutformatierungen wie auch die Verlinkung ein. Wie in der Workbench ist auch hier eine Suchfunktion integriert. Der Editor entscheidet dabei intelligent und abhängig vom Input, ob den Formatierungsrichtlinien interner oder externer Links zu folgen ist. Der Output ist sowohl als Lesefassung als auch als Wikitext möglich (TXT).

2.3 MKNetwork Data Extractor

Mit dem Data Extractor ist es möglich, aus unstrukturierten Daten (wie einem Diarium) eine strukturierte Datensammlung zu extrahieren. Wenn man so will, handelt es sich dabei um ein einfaches RAG (Retrieval-Augmented Generation). Wir hatten hier erst eine Anwendung für handschriftliche Register im Blick (z.B. für Taufen oder Hochzeiten), nutzen den Extractor aber mittlerweile auch für die Genese von semantischen Triples (Statements in der Wikidata). Der Output ist als TSV oder TXT möglich.

2.4 MKNetwork Grave Scribe

Grave Scribe ist (seit Februar 2026) eine Weiterentwicklung des Data Extractors. Die App hält sich nicht bei der Transkription auf, sondern gibt definierte Inhalte strukturiert zurück — und zwar von Abbildungen von Grabsteinen. Außerdem werden die so generierten Daten sofort mit Metadaten versehen, die eine standardisierte Ablage ermöglichen.

Die Daten werden tabstopgetrennt (TSV, für die Weiterverarbeitung in üblichen Datenbanksystemen) oder als strukturierte Liste erzeugt:

Last Name 1: PETERLEITNER
Last Name 2: PETERLEITNER
First Name: Joh. Michael
Full Name: Joh. Michael PETERLEITNER
Alternative First or Given Name: nt
Previous Last Name: nt
Maiden Name: nt
Titles/Suffixes: nt
Date of Birth: 1769-07-01
Date of Death: 1829-04-20
Age at Death: nt
Relationship Role: nt
Related Person(s): nt
Place of Birth: Nieuw Barnim, Brandenburg
Place of Death: Hemel en Aarde
Epitaph/Verse: nt
Biblical References: nt
Language: Dutch
Stonemason/Creator: nt
Occupation/Role: nt
Whole Text on Grave Stone: No 846 JOH. MICHAEL PETERLEITNER. Geboren te Nieuw Barnim BRANDENBURG d 1 July 1769. ontslapen te Hemel en Aarde d 20 April 1829.
Comments: Highly reliable. No missing letters. The stone has a horizontal crack across the middle.
Image Description: Rectangular dark grey stone lying flat on the ground. The stone is broken across the middle. Some text is in ALL CAPS.
Place: Genadendal
Name of Cemetry: Gottesacker Genadendal
Special Area of Cemetry: nt
Author of Recordings (Last Name): Römer
Author of Recordings (First Name(s)): Jördis
Date of Recordings: Februar 2025
Name of Image Folder: nt
Image Reference: Screenshot 2026-06-04 143543.png

Neben der automatischen Beschreibung des Steins und der Angabe, wie gut die Erkennung erfolgte, wird auch der gesamte Text, der auf dem Stein erkannt wird, entsprechend strukturiert. Die Erkennungsraten sind, wie bei den anderen Apps, bemerkenswert.

3. Ergebnisse

Um die (beinahe unglaublichen) Möglichkeiten anzudeuten, die Herausforderungen zu dokumentieren und die Ergebnisse zugänglich zu machen, beginnen wir mit der Veröffentlichung der Nachrichten:

• • • Juan Garcés & Alexander Lasch. 2025. Mehrsprachige Arbeits- und Lesefassung der “Beyträge zur Erbauung aus der Brüder-Gemeine” (1817-1818). Zenodo. DOI: 10.5281/zenodo.17923339.
    • Juan Garcés & Alexander Lasch. 2025. Mehrsprachige Arbeits- und Lesefassung der “Gemein-Nachrichten” (ab 1765). Zenodo. DOI: 10.5281/zenodo.17818496.
    • Juan Garcés & Alexander Lasch. 2025. Mehrsprachige Arbeits- und Lesefassung der “Nachrichten aus der Brüder-Gemeine” (1819-1894). Zenodo. DOI: 10.5281/zenodo.17789120.

Es handelt sich dabei um den Stand nach Ersterkennung und -normalisierung. Etwaige Fehler sind in noch folgenden Korrekturschleifen zu entfernen. Der Workflow bietet im Moment die folgenden Möglichkeiten (inkl. Outputs):

---

Nur der Text ist unter der Lizenz Creative Commons Namensnennung 4.0 International nutzbar. Alle anderen Elemente (Abbildungen, importierte Anhänge) sind „Alle Rechte vorbehalten“, sofern nicht anders angegeben.

---

---