DFG-Projekt PainFaceReader
Inhalt und Ziele
Das PainFaceReader-Projekt ist im Forschungszweig der Facial Expression Analysis angesiedelt: Forschungsgegenstand ist der menschliche Gesichtsausdruck als Mittel non-verbaler Kommunikation, welches Aufschluss über den mentalen Zustand einer Person geben kann. Im Rahmen des Projektes liegt der Fokus hierbei insbesondere auf der Empfindung von Schmerz, welche durch die Interpretation von Gesichtsausdrücken zielsicher erkannt werden soll. Mimische Signale von Schmerz schnell und pr?zise zu erkennen ist vor allem in solchen Anwendungsszenarien wichtig, in denen Menschen nicht in der Lage sind, ihre Empfindungen verbal zu kommunizieren: Beispiele hierfür sind Kleinkinder, Menschen mit Demenz oder Patientinnen und Patienten mit eingeschr?nktem Bewusstseinszustand (z. B. in postoperativer Behandlung).
Eine Grundlage dafür, wie man Gesichtsausdrücke objektiv beschreiben kann, bietet das Facial Action Coding System (FACS): hierbei wird jede mit dem menschlichen Auge erkennbare kleinstm?gliche Muskelbewegung im menschlichen Gesicht als separate Action Unit (AU) mit eindeutiger ID und Beschreibung der entsprechenden Muskelbewegung repr?sentiert. Darauf aufbauend l?sst sich untersuchen, welche Kombinationen von AUs, also welche typischen Gesichtsausdrücke, als Signal eines bestimmten zugrundeliegenden emotionalen Zustandes interpretiert werden k?nnen.
Die Erkennung von Action Units im direkten 188bet亚洲体育备用_188体育平台-投注*官网 oder, was h?ufiger der Fall ist, aufgrund von Fotos oder Videoaufnahmen von Gesichtern, wird klassischerweise von menschlichen Expertinnen und Experten manuell vorgenommen und ist eine zeitintensive Aufgabe. Das PainFaceReader-Projekt verfolgt das Ziel, diese Arbeit zu automatisieren, wodurch die Analyse der Gesichtsmimik in Echtzeit vorgenommen und Fachkr?fte entlastet werden k?nnen. Die Automatisierungsschritte beinhalten die Wahrnehmung des menschlichen Gesichts durch visuelle Sensoren, die Identifikation der im Gesicht gezeigten Action Units, sowie die Erkennung von Schmerz auf Grundlage der gezeigten AUs. Die korrekte Wahrnehmung und Interpretation der AUs wird dabei mit Techniken des maschinellen Lernens erm?glicht.
Bei allen Automatisierungsschritten und Anwendungen von maschinellem Lernen steht immer auch die Erkl?rbarkeit der Abl?ufe und Ergebnisse im Vordergrund. Durch Transparenz und Nachvollziehbarkeit soll es menschlichen Nutzerinnen und Nutzern zu jedem Zeitpunkt m?glich sein, Einsch?tzungen und Entscheidungen seitens des Systems zu reflektieren und gegebenenfalls zu korrigieren. Aus diesem Grund verwendet der PainFaceReader bevorzugt Repr?sentationsformen und Machine-Learning-Techniken, welche die Interpretierbarkeit durch menschliche Anwenderinnen und Anwender gew?hrleisten.
Bei dem Projekt handelt es sich um eine Kooperation mit der Professur für Physiologische 188bet亚洲体育备用_188体育平台-投注*官网 der Otto-Friedrich-Universit?t Bamberg sowie dem Fraunhofer-Institut für Integrierte Schaltungen in Erlangen. Die Experten aus der 188bet亚洲体育备用_188体育平台-投注*官网 steuern wertvolles Fachwissen bei, stellen die Datenbasis für das maschinelle Lernen bereit und evaluieren die Ergebnisse anhand m?glichst realistischer Anwendungsszenarien. Das Frauhofer-Institut nutzt seine Expertise im Bereich Computer Vision zur eindeutigen Erkennung von Gesichtsausdrücken in verschiedenen Kontexten bzgl. Umgebung, Beleuchtung und Perspektive sowie zur zuverl?ssigen Identifikation von Action Units in der gezeigten Mimik. Die Professur für Kognitive Systeme nimmt darauf aufbauend die Interpretation der vorverarbeiteten AUs durch Ans?tze des maschinellen Lernens vor.
Methode
FACS als Zwischenrepr?sentation: Obwohl es auch automatisierte Ans?tze gibt, welche direkt aus den erfassten geometrischen und texturbasierten Merkmalen des Gesichts die Zuordnung des mentalen Zustandes ableiten, verwendet das PainFaceReader-Projekt FACS als explizite Zwischenrepr?sentation. Dies ist begründet durch den Anspruch, eine für menschliche Nutzerinnen und Nutzer des Systems interpretierbare Repr?sentation der verarbeiteten Informationen zu verwenden, um eine proaktive Interaktion zwischen Mensch und System zu gew?hrleisten. Für die Interaktion des Systems mit menschlichen Expertinnen und Experten aus Medizin und 188bet亚洲体育备用_188体育平台-投注*官网 stellt FACS als international anerkanntes Beschreibungsvokabular für mimische Ausdrücke ein besonders gut geeignetes Mittel dar.
Induktive Logische Programmierung als Ansatz des maschinellen Lernens: Informationen und Klassifikationsregeln, welche der PainFaceReader für die Interpretation von Gesichtsausdrücken verwendet, werden als Aussagen im Rahmen der Pr?dikatenlogik modelliert. Auch dies dient der Interpretierbarkeit durch menschliche Anwenderinnen und Anwender des Systems, da diese Form der symbolischen Repr?sentation für menschliche Betrachter einfacher zug?nglich ist als andere, abstraktere Repr?sentationsformen. Lernalgorithmen der Induktiven Logischen Programmierung leiten auf Grundlage des modellierten Wissens weiterführende Klassifikationsregeln ab, welche die Zuordnung von Gesichtsausdrücken zu mentalen Zust?nden vornehmen sollen.
Intervallalgebra zur Modellierung zeitlicher Relationen: Eine zentrale Herausforderung des Projektes ist die Tatsache, dass eine Reihe emotionaler Zust?nde (beispielsweise Wut oder Ekel) durch ?hnliche oder sogar die gleichen AUs ausgedrückt werden wie die Empfindung von Schmerz. Aufbauend auf der Erkenntnis, dass Menschen diese sehr ?hnlichen Gesichtsausdrücke in bewegten Bildern über eine gewisse Zeitspanne hinweg wesentlich besser voneinander unterscheiden k?nnen als auf einzelnen unbewegten Abbildungen, untersucht das PainFaceReader-Projekt die Bedeutung zeitlicher Abfolgen und Relationen von AUs für eine erfolgreiche Klassifikation. Dabei werden alle in der Allen‘schen Intervallalgebra aufgeführten Relationen, welche zwei Zeitintervalle zueinander einnehmen k?nnen, in Betracht gezogen.
Datenverarbeitung zum Schutz der Privatsph?re: Die Schmerzidentifikation aufgrund der Mimik kann einen Beitrag dazu leisten, dass Menschen, die - etwa aufgrund kognitiver Beeintr?chtigungen oder dementieller Erkrankungen - nicht in der Lage sind, ihre Schmerzen verbal zu kommunizieren, dennoch ad?quat mit Schmerzmitteln versorgt werden k?nnen. Andererseits sind h?ufige Aufnahmen des Gesichts ein starker Eingriff in die Privatsph?re der Patientinnen und Patienten. Entsprechend sollen im Projekt Methoden entwickelt und genutzt werden, bei denen nur die aus dem Gesicht abgeleiteten Daten (zeitlicher Verlauf von AUs) weitergegeben werden. Falls die konkrete Abbildung von Mimik zur Erkl?rung herangezogen wird, werden diese Informationen auf ein Avatar-Gesicht projiziert.
Bilder
Zum Vergr??ern auf die Bilder klicken.
