Interaktionen, die Worte und Zahlen verbinden
Dokumente und Nachrichtenartikel enthalten neben dem Text oft Diagramme, die einen detaillierteren Einblick in die Daten geben, auf die sich der Text bezieht. Allerdings ist ihre Darstellung meist statisch, trotz der M?glichkeiten, die moderne digitale Ger?te bieten. Anstatt die verschiedenen Darstellungen einfach nebeneinander zu stellen, k?nnen Interaktionen die beiden Darstellungen enger miteinander verknüpfen. Um die Kluft zwischen den Darstellungen zu überbrücken und die Inhalte explorativer zu gestalten, zielt das Forschungsprojekt vgiReports darauf ab, interaktive Dokumente mit solchen Verknüpfungen im Kontext von "Volunteered Geographic Information" (VGI) zu untersuchen. Die Forschungen unter der Leitung von Doktorand Shahid Latif, betreut von Fabian Beck und in Zusammenarbeit mit externen Partnern haben zu neuen Ergebnissen geführt. Sie beschreiben M?glichkeiten, Text und Diagramme zu verknüpfen, stellen Werkzeuge zur Verfügung, um solche Verknüpfungen einfach zu erstellen, und geben Beispiele dafür, wie interaktive Verknüpfungen die Datenexploration unterstützen.
Bei der Untersuchung der impliziten und expliziten Links, die bereits in datengestützten Artikeln bekannter Nachrichtenmedien vorhanden sind, wurde eine Reihe von Best Practices ermittelt. Diese k?nnen Datenjournalisten dabei helfen, fesselnde und informative Geschichten über bestimmte Daten zu schreiben. Derzeit werden viele solcher Artikel über die Covid-19-Pandemie ver?ffentlicht, die auch als Beispiele in der durchgeführten Untersuchung betrachtet wurden [Paper].
Um den Autoren interaktiver datengestützter Artikel eine einfachere Verknüpfung von Text und Diagrammen zu erm?glichen, wurde ein webbasiertes Tool, Kori, entwickelt. Es nutzt modernste Techniken zur Verarbeitung natürlicher Sprache, um automatisch die Phrasen zu erkennen, die mit Teilen der begleitenden Diagramme in Verbindung stehen. Au?erdem bietet es eine innovative Benutzerschnittstelle, um eine Textphrase mit visuellen Merkmalen in den Diagrammen zu verknüpfen [Paper].
Das Forschungsprojekt wendet diese Ideen in verschiedenen Anwendungsbereichen an. Kürzlich wurde ein System zur Erforschung des Werdegangs historischer Pers?nlichkeiten vorgeschlagen, bei dem die Benutzer Fragen stellen k?nnen und das System mit einer Mischung aus Text und verknüpften Diagrammen antwortet. W?hrend die Antwort mithilfe eines KI-Modells (dem GPT-3-Sprachmodell) generiert wird, stellt das System die Antwort in einen Kontext, indem es die Daten auf einer Zeitachse und in anderen Ansichten visualisiert. Auf diese Weise k?nnen die Benutzer die Daten über die angefragten Informationen hinaus erkunden [Paper].
Die Forschung wurde an der Universit?t Duisburg-Essen in Zusammenarbeit mit nationalen und internationalen Partnern durchgeführt und wird an der Universit?t Bamberg fortgesetzt. Die Ergebnisse wurden in Computer Graphics Forum (CGF) und IEEE Transactions on Visualization and Computer Graphics (TVCG), zwei der führenden Visualisierungszeitschriften, ver?ffentlicht und auf den Konferenzen EuroVis 2021 und IEEE VIS 2021 vorgestellt. Im Rahmen der VGIscience-Vortragsreihe fasste Shahid Latif die Forschung auch in einem einzigen Vortrag zusammen [Video].