Gleichzeitige Vorhersage von Valenz / Arousal und Emotionskategorien und ihre Anwendung in einem HRC-Szenario
In diesem Projekt erfolgte in einem ersten Schritt zunächst eine Evaluation mehrerer Ansätze zur automatischen Auswertung von Mimik. Dies umfasst sowohl die Klassifikation von diskreten Basisemotionen (wie Freude, Wut, Trauer) als auch die Bestimmung der ausgedrückten Emotion anhand zweier kontinuierlicher Parameter (Valenz für positive, neutrale bis negative bzw. Arousal für erregte, entspannte bis erschöpte Mimik). Hierzu wurden CNN-Modelle auf mehreren umfassenden "in-the-wild"-Datenbanken trainiert und evaluiert. Anschließend wurde das geeigneteste Modell bei einem Mensch-Roboter-Kollaborations Szenario am Fraunhofer IWU Chemnitz eingesetzt. Es wurde festgestellt, dass sich insbesondere die prädizierte Valenz dazu eignet, selbst geringfügiger Abweichungen der mimisch ausgedrückten Stimmung zu prädizieren. Damit wurde eine zuverlässige Schätzung der Stimmung in Abhängigkeit unterschiedlich anspruchsvoller Arbeitssituationen ermöglicht. Hierdurch ließ sich ermitteln, dass sich der in Stresssituationen auftretenden Verschlechterung der ausgedrückten Stimmung durch automatische Assistenz der Probanden (Feedback) erfolgreich entgegen wirken lässt.
Beispiel für die Klassifizierung von Basisemotionen und die Regression von Valence / Arousal Werten an AffectNet mittels CNN Modellen und klassischen Verfahren. (Bild 1 von 4) » Vorwärts « ZurückAFEW-VA Beispiel für prädizierte und tatsächliche Valence / Arousal. (Bild 2 von 4) » Vorwärts « ZurückAff-Wild Beispiel für prädizierte und tatsächliche Valence / Arousal. (Bild 3 von 4) » Vorwärts « ZurückDichteverteilung im Valence /Arousal Raum mit und ohne Assistenz (Feedback) für folgende Szenarien (von links nach rechts): Roboterfehler, Zeitdruck Roboterfehler & Zeitdruck, normal.Normal . (Bild 4 von 4)
Publikationen
- Handrich, S.; Dinges, L.; Al-Hamadi, A; Werner, P; Saxen, F. and Al Aghbari, Z. Simultaneous prediction of valence / arousal and emotion categories and its application in an HRC scenario, Journal of Ambient Intelligence and Humanized Computing , vol. 12, no. 1, pp. 57–73, 2021.
- Handrich, S.; Dinges, L.; Al-Hamadi, A.; Werner, P. & Z. A. Aghbari, Simultaneous Prediction of Valence/Arousal and Emotions on AffectNet, Aff-Wild and AFEW-VA, in The 11th International Conference on Ambient Systems, Networks and Technologies (ANT 2020) / The 3rd International Conference on Emerging Data and Industry 4.0 (EDI40 2020) / Affiliated Workshops, April 6-9, 2020, Warsaw, Poland , 2020, vol. 170, pp. 634–641.
- Saxen, F.; Werner, P; Handrich, S; Othman, E.; Dinges, L. and Al-Hamadi, A; Face Attribute Detection with MobileNetV2 and NasNet-Mobile, 2019, pp. 176–180.
- Handrich, S.; Dinges, L.; Saxen, F. & Al-Hamadi, A, Simultaneous Prediction of Valence / Arousal and Emotion Categories in Real-time, in IEEE International Conference on Signal and Image Processing Applications (ICSIPA), 2019.