HistKI - Untersuchung, Modellierung und multimodale KI-basierte Unterstützung von Bildquellenrecherche und -kritik als komplexe und grundlegende geschichtswissenschaftliche Arbeitstechnik
Fotografien und andere Abbilder von Architektur dienen in vielen historischen Wissenschaften als Quelle und Grundlage für fach- und theoriespezifische Untersuchungen. So werden zum Beispiel historische Fotoaufnahmen herangezogen, um den Zustand eines Gebäudes zu rekonstruieren oder die Formensprache einer Epoche zu identifizieren. Ausgangspunkt dieser Szenarien aus Architektur-, Kunstgeschichte und Kulturwissenschaften ist eine durch Hilfsmittel der jeweiligen Fächer unterstützte Quellenrecherche und -kritik, auf die weitere Auswertungen und Verwendungen im wissenschaftlichen Kontext aufbauen.
Obwohl sich KI-basierte Methoden der Computer Vision in den letzten Jahren wesentlich weiterentwickelt haben, können diese den Prozess der Quellenrecherche und -kritik bisher allenfalls im Ansatz unterstützen, bspw. für die Exploration von Bildrepositorien oder das Retrieval von Bildern. Dies liegt zum einen daran, dass elementare diesbezügliche Vorgehensweisen zwar gut dokumentiert sind, WissenschaftlerInnen – wie unter Betreuung des Koordinators in drei Dissertationsvorhaben untersucht – aber sehr individuell vorgehen. Zum anderen ist KI-Bildverarbeitung bisher wenig darauf ausgelegt, bildliche Inhalte multimodal zu kontextualisieren, d.h. verschiedene Quellengattungen wie Bilder und Texte zu kombinieren. Existierende Verfahren der Computer Vision extrahieren rein visuelle Merkmale und klassifizieren diese, während Texte oder Metadaten und darin enthaltenes Wissen wie bspw. Hinweise auf zeitliche Kontexte oder einzelne Motive nicht mit der Analyse verknüpft werden können.
Das beantragte Vorhaben HistKI will die Unterstützung und Modellierung von Bildquellenrecherche und -kritik als komplexe und grundlegende geschichtswissenschaftliche Arbeitstechnik durch multimodale KI-basierte Verfahren erforschen. Damit verbundene Teilfragen sind: Wie finden und beurteilen Historiker und andere Fachwissenschaftler Bildquellen? Welche generischen Vorgehensweisen und Teilproblemstellungen lassen sich hierfür identifizieren? Wie lässt sich dies mit KI-basierten Ansätzen befördern? Wie wirken sich KI-Techniken auf den geisteswissenschaftlichen Forschungsprozess aus?
Diese Fragen sollen anhand von ausgewählten Szenarien untersucht werden, in denen Bilder, Texte und 3D-Modelle zur Beschreibung von Architekturobjekten und städtebaulichen Ensembles für einen Analyseprozess synergetisch zusammenwirken. Mit Hilfe von Verfahren des maschinellen Lernens sollen in HistKI Objektquellen und Textquellen (z.B: Bildunterschriften) verknüpft werden, um in Zukunft eine detaillierte Kontextualisierung und Verortung der Fotografien zu erlauben und damit über bisherige Methoden des distant viewing einen wesentlichen Schritt hinauszugehen.
Projektlaufzeit: 1. Januar 2021 - 31. Dezember 2023
Fördersumme: ca. 600.000 EUR
Projektbeteiligte: Konsortialpartner: LMU München, JMU Würzburg
Fördergeber: BMBF, Förderkennzeichen: 01UG2120A