Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Von Digitalisaten zu Wissensgraphen

Svetlana Yakutina
Crosspost vom Projektblog des Masterstudiengangs Digital Humanities an der TU Dresden. 

In meiner Masterarbeit Von Digitalisaten zu Wissensgraphen beschäftigte ich mich mit der Frage, wie biographische Informationen aus historischen, unstrukturierten Texten automatisiert extrahiert und in eine strukturierte, maschinenlesbare Form überführt werden können.

Ausschnitt aus der Lebensbeschreibung (in NBG 1859) von Johannes Fritsch (1782-1856), die mit zum Untersuchungskorpus gehörte. Die Masterarbeit reiht sich damit in die Bemühungen ein, die vielfältigen Herrnhuter Überlieferungsträger (wie seinen Grabstein in Genadendal, Südafrika, (c) Jördis Römer) digital zu relationieren.

Dabei griff ich auf technologische Konzepte und Infrastrukturen wie das Semantic Web, Linked Open Data und Wissensgraphen zurück, um die extrahierten Informationen semantisch zu modellieren und in formalisierte Wissensstrukturen zu überführen.

Methodisch basierte die Arbeit auf einem weitgehend automatisierten Workflow, der die OCR-gestützte Texterkennung, die strukturelle Auszeichnung mittels TEI-XML, die Informationsextraktion sowie die anschließende Modellierung der Daten in Wissensgraphen umfasste. Ein zentrales Ergebnis war, dass die automatisierte Extraktion von Entitäten und ihren Relationen aus historischen Texten keineswegs trivial ist, sondern mit zahlreichen methodischen und konzeptionellen Herausforderungen verbunden bleibt.

An diesem Punkt setzt der vorliegende Beitrag an. Er berichtet über praktische Erfahrungen mit dem lokalen, frei verfügbaren Sprachmodell Llama3 bei der Informationsextraktion aus historischen Texten. Im Fokus stehen dabei die auftretenden Hürden bei der Named Entity Recognition (NER) und der Relationsextraktion (RE) sowie die im Rahmen der Arbeit entwickelten Lösungsansätze zur Überführung biographischer Informationen in die Tripelstruktur von Wissensgraphen (Subjekt–Prädikat–Objekt).

Als Untersuchungsgrundlage dienten 20 Lebensbeschreibungen aus den Nachrichten aus der Brüdergemeine (NBG). Diese sind zwar reich an biographischen Details, folgen jedoch keiner festen Struktur und stellen damit eine besondere Herausforderung für automatisierte Verfahren dar.

Informationsextraktion als methodischer Kern

Die Informationsextraktion bildete den zentralen methodischen Baustein meiner Masterarbeit. Ziel war es, relevante Informationen zuverlässig aus den Texten zu identifizieren und zu normalisieren. Grundsätzlich kann die Informationsextraktion auf unterschiedliche Weise erfolgen: manuell durch close reading und Annotation, mithilfe klassischer digitaler Methoden der Sprachverarbeitung (POS) oder unter Einsatz großer Sprachmodelle (LLMs). Letztere ermöglichen es inzwischen, Entitäten und ihre Relationen entweder satzweise oder direkt aus vollständigen Texten zu extrahieren und in strukturierter Form auszugeben.

Im Rahmen meiner Masterarbeit wurde zunächst versucht, Entitäten und Relationen gleichzeitig mithilfe mehrerer Open-Source-Modelle (Llama3qwen3mistral-small3.1 und deepseek-r1) direkt aus dem Text zu extrahieren. Dabei zeigte sich, dass viele Entitäten entweder nicht erkannt oder falsch positiv identifiziert wurden, wodurch auch ihre Relationen fehlerhaft waren. In manchen Fällen halluzinierten die Modelle und erfanden Relationen oder Entitäten, die im Text nicht vorhanden waren, oder brachen die Analyse nach wenigen Sätzen ab. Aus diesem Grund wurde entschieden, Entitäten und ihre Relationen getrennt voneinander auf Satzebene zu identifizieren.

Named Entity Recognition

Entitäten bezeichnen im Kontext der Informationsextraktion jene Einheiten, die als Träger semantischer Bedeutung fungieren und als Subjekte oder Objekte in Aussagen auftreten. Die automatische Identifikation solcher Entitäten erfolgt im Rahmen der NER, einer zentralen Komponente der Wissensextraktion im Text-Mining. NER-Tagger erkennen und markieren Entitäten im laufenden Text anhand generischer Typen wie Person oder Organisation. In meiner Masterarbeit verwendete ich die Python-Bibliothek spaCy.

Zur Vorprüfung wurde zuerst das deutsche Modell de_core_news_lg auf das Korpus angewandt. Die Ergebnisse blieben jedoch hinter den Erwartungen zurück, da insbesondere Personen-, Orts- und Organisationsnamen häufig fehlerhaft klassifiziert wurden.Darüber hinaus erkannte der gängige NER-Tagger in seiner Standardkonfiguration keine Datumsangaben. Daher wurde entschieden, das Modell domänenspezifisch zu trainieren. In diesem Zusammenhang kam die Frage auf, woher die Trainingsdaten stammen sollen.

Die manuelle Annotation eines eigenen Korpus war aufgrund des hohen zeitlichen Aufwands nicht realisierbar. Stattdessen wurde ein Ansatz zur Generierung synthetischer Trainingsdaten mithilfe von LLMs verfolgt. Aufbauend auf Santoso et al. (2024) kam hierfür das Open-Source-Modell Llama3 (8B) zum Einsatz. Dem Modell wurden die Personen- und Ortsnamen aus einer von der Sächsischen Landesbibliothek – Staats- und Universitätsbibliothek Dresden kuratierten Liste mit insgesamt rund 1000 Einträgen zur Verfügung gestellt. Ergänzend wurde eine Liste mit für den herrnhutischen Kontext typischen Verben erstellt. Auf der Grundlage dieser Entitäten und Verben wurden Sätze sowohl in Ich- als auch in der Er-/Sie-Perspektive generiert, um die typische Narrativität der Lebensbeschreibungen abzubilden.

Das Grundprinzip der Erstellung von synthetischen Trainingsdaten bestand darin, (1) Sätze aus zufällig ausgewählten Entitäten aus unterschiedlichen Listen zu generieren, (2) diese Sätze teilweise zu annotieren und (3) die annotierten Sätze zur Erweiterung des spaCy-NER-Modells zu nutzen.

Für die Satzgenerierung wurden zwei Prompts erstellt:

Erstelle einen deutschen Satz über die Person, die sich in [Ort] aufhält oder dort etwas tut. Verwende exakt diesen [Namen] und exakt diesen [Ort]. Nutze genau eines der folgenden [Verben]. Der Satz muss das [Datum] enthalten, allerdings nicht am Satzanfang – es soll möglichst in der Satzmitte oder am Ende erscheinen. Gib ausschließlich den vollständigen Satz aus – keine Erklärungen, Kommentare oder Einleitungen.
Schreibe einen deutschen Satz aus der Ich-Perspektive. In diesem Satz beschrei-be ich, wie ich zusammen mit [Namen] etwas im [Ort] tue. Der zeitliche Kontext liegt zwischen 1819 und 1894. Verwende exakt diesen [Namen] und exakt diesen [Ort]. Gib ausschließlich den vollständigen Satz aus – keine Erklärungen, Kommentare oder Einleitungen.

Die Sätze wurden nach dem folgenden Format generiert:

["Johann Gottfried Ferdinand Groſſe vernehmen am 16 August 1850 in Berthelsdorf die Erinnerung an seine letzten Reiseerlebnisse, als er auf und ab ging zwischen den Dorfstraßen.", [[0, 33, "PER"], [65, 77, "LOC"], [47, 61, "DATE"]]]
["Ich unternehme gemeinsam mit Seifert eine Wanderung durch die sandigen Dünen von Calvinia, um an der Sonne warmen Nachmittags die Auswirkungen des Orkans auf die Landschaft zu studieren.", [[29, 36, "PER"], [81, 89, "LOC"]]]

Anschließend wurde das Modell trainiert und danach wurde das Modell auf den Textdaten getestet und anhand der Kennzahlen Precision (P), Recall (R) und F-Score (F) evaluiert. Die ersten Experimente zeigten, dass das domänenspezifische NER-Modell nicht die erwartete Leistung erbrachte. Um die Leistungsfähigkeit zu erhöhen, wurde das Modell mit authentischen 96 Sätzen ergänzt und erneut trainiert (Abb. 1).

Abb. 1: Evaluierungsergebnisse zweier NER-Modelle (NER-Modell (gemischte Trainingsdaten) vs. NER-Modell (synthetische Trainingsdaten))

Die Evaluation (Abb.1) zeigte, dass das NER-Modell mit gemischten Trainingsdaten das rein synthetische Modell in allen getesteten Kategorien übertrifft, insbesondere bei der Erkennung von Orts- (LOC) und Datumsangaben (DATE). Auch bei Personennamen (PER) erzielt das gemischte Modell bessere, wenn auch insgesamt nur moderate Ergebnisse. Problematisch bleibt die Kategorie ORG, da Organisationsnamen in den synthetischen Trainingsdaten nicht enthalten waren und auch im gemischten Modell nur sehr geringe F-Werte erreicht wurden. Insgesamt zeigte sich, dass bereits eine geringe Anzahl authentischer Trainingsdaten ausreichte, um die Modellleistung für die Entitätstypen LOC, DATE und PER deutlich zu verbessern und das Potenzial des gewählten Ansatzes für die NER historischer Texte zu verdeutlichen.

Nach der NER-Annotation wurden die annotierten Sätze extrahiert und zur Bestimmung der Relationen zwischen den identifizierten Entitäten herangezogen.

Relationsextraktion

Für die Relationsextraktion (RE) wurde weiterhin mit dem Modell Llama 3 gearbeitet. Eine zentrale Herausforderung bestand darin, geeignete Prompts zu formulieren. Zu diesem Zweck wurden verschiedene Prompts erprobt: So wurden bspw. unterschiedliche Beispiele im Systemprompt definiert und mehrere Aufgaben integriert (u. a. Normalisierung von Datumsangaben). Diese Vorgehensweise führte jedoch zu einer deutlichen Belastung des Modells, wodurch sich die Bearbeitungszeit erheblich verlängerte und zwischen 8 und 11 Stunden lag.

Aus diesem Grund wurden die Prompts vereinfacht und in einen System- sowie Humanprompt aufgeteilt. Der Systemprompt definierte die Rolle und den Kontext des Modells für die Extraktion von Relationen aus biographischen, historischen und religiösen Texten sowie die Ausgabe im vorgegebenen JSON-Format. Der Humanprompt stellte dem Modell den konkreten Text sowie die erkannten Entitäten bereit und forderte es auf, Relationen ausschließlich auf dieser Grundlage zu bestimmen.

Nach der RE wurden die Ergebnisse evaluiert. Dafür wurde eine Stichprobe von 10 % aller Sätze entnommen. Diese umfasste 86 zufällig ausgewählte Sätze mit jeweils unterschiedlich vielen gebildeten Tripeln pro Satz (Subjekt–Prädikat–Objekt).

St. Kitts iſt die ſchönſte von den weſtindiſchen Inſeln, die wir beſucht haben.
(wir, besuchen, St. Kitts)

Im folgenden Jahr 1864 machte ich mit meiner Tochter eine ſehr angenehme Reiſe über Neuwied und Zeiſt nach Haarlem, und auf dem Rückweg über Baſel, wo wir bei den Eltern meiner lieben Schwiegertochter ſehr angenehme Wochen verbrachten und mit ihnen auch eine kleine Reiſe in die Schweizer Thäler mach-ten.
(ich, reisen, Schweizer Thäler)
(ich, aufenthalt, Baſel)
(ich, reisen, Haarlem)
(ich, reisen, Neuwied)

Insgesamt wurden 182 Tripel manuell überprüft und je nach Erkennungsgenauigkeit als TP (True Positive), FP (False Positive) oder FN (False Negative) annotiert. Die Erkennung von Datumsangaben wurde dabei nicht bewertet, da solche Angaben in den Sätzen nicht regelmäßig vorkamen.

Abb. 2: Evaluierungsergebnisse der RE mit LLM.

Ein F-Score von 57,25 % zeigt (Abb. 2), dass das LLM eine mittlere Leistung bei der RE erbringt. Zwar werden einige Beziehungen korrekt erkannt, jedoch sind über 40 % der Ergebnisse entweder fehlerhaft oder fehlen vollständig. Dabei wurden typische Fehler des eingesetzten LLMs festgestellt: Halluzination von Entitäten und Relationen sowie fehlerhafte oder unvollständige Relationstypisierungen. Vor allem in komplexen, verschachtelten Satzstrukturen mit mehreren Neben- und Relativsätzen gelang es dem Modell häufig nicht, die korrekten Beziehungen zwischen Entitäten zu erkennen. Deutlich bessere Ergebnisse erzielte die Relationsextraktion in klar strukturierten Kontexten wie Reise-, Aufenthalts- und Besuchsbeschreibungen, da die entsprechenden Relationen im Text explizit markiert sind und sich eindeutig zuordnen lassen. Um die erzielten Ergebnisse weiter nutzbar zu machen, wurden die extrahierten Tripel im Anschluss für jeden Satz überprüft und bei Bedarf manuell korrigiert.

Fazit

Insgesamt zeigte die Arbeit, dass Llama3 die Informationsextraktion nicht vollständig automatisiert übernehmen kann. Dennoch erweist sich das Modell als ein leistungsfähiges Unterstützungswerkzeug, das insbesondere bei der Vorstrukturierung und Erschließung biographischer Informationen einen deutlichen Mehrwert bietet.

Der entwickelte Ansatz zur Generierung synthetischer Trainingsdaten mithilfe großer Sprachmodelle erwies sich als praktikabler Weg, um domänenspezifische Modelle auch unter begrenzten Ressourcen zu trainieren. Die Evaluation zeigte jedoch, dass synthetische Daten allein nicht ausreichen: Bereits eine vergleichsweise kleine Menge authentischer, manuell annotierter Sätze führte zu einer signifikanten Verbesserung der Modellleistung.

Bei der Relationsextraktion ergab sich ebenfalls ein gemischtes Bild. Das eingesetzte Sprachmodell erzielte insgesamt eine mittlere Leistung und lieferte vor allem in klar strukturierten und inhaltlich eindeutigen Sätzen gute Ergebnisse. Bei komplexeren Satzstrukturen zeigten sich jedoch typische Schwächen großer Sprachmodelle. Deshalb ist eine nachträgliche manuelle Überprüfung der extrahierten Tripel weiterhin notwendig, insbesondere wenn diese für den Aufbau von Wissensgraphen verwendet werden sollen.

Sämtlicher Code sowie alle im Rahmen meiner Masterarbeit erzeugten Dateien und Skripte wurden auf GitHub öffentlich bereitgestellt.


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Svetlana Yakutina (23. Februar 2026). Von Digitalisaten zu Wissensgraphen. MKNetwork. Abgerufen am 13. Mai 2026 von https://doi.org/10.58079/15r2t


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.