Der folgende Abschnitt unterstreicht den Wert von Professional-UX bei der Verbesserung von Benutzeroberflächen, der Minimierung von Fehlern und der Optimierung des Benutzererlebnisses in verschiedenen Branchen und Plattformen.

Mehr (PDF)…

Erster Hard- und Software-Prototyp

Software zur Extraktion zentraler Parameter aus dem Eye-Tracking

Das Eye-Tracking diente im Rahmen des Projekts zu zwei unterschiedlichen Zwecken:

• Einerseits wird durch die Blickverfolgung der Bezug zwischen Benutzer und Oberfläche hergestellt

• andererseits sind die Messwerte des Eye-Trackers auch eine Grundlage zur Extraktion von Parametern zur Bestimmung der User Experience.

Im ersten Schritt wurden aus den Eye-Tracking-Daten die Zeitbereiche von Fixationen (ruhender Blick) und Saccaden (schnellen Augenbewegungen) ermittelt. Die Dauer von Fixationen und die Länge von Saccaden bilden hier bereits erste Hinweise auf die Benutzbarkeit der Oberfläche und werden so auch bereits in Standardsoftwares der Eye-Tracking-Analyse ausgewertet.

Im zweiten Schritt wurden spezielle Maße entwickelt, die sich mit dem Grad der Verwirrung bei der Benutzung einer Oberfläche in Verbindung bringen lassen. Hierzu wurden aus den berechneten Fixationen Cluster gebildet und der Blickverlauf als gerichteter Graph auf die Menge der Fixationscluster abgebildet. So konnten neue Maße wie die Rückkehrhäufigkeit des Blicks oder die Anzahl der Blickwechsel zwischen Clustern als Maß der Verwirrung mit Methoden der diskreten Algebra berechnet werden.

---

Software zur Extraktion zentraler Parameter aus der Mimik

Die Anzahl der notwendigen Messpunkte für die Mimik konnte im Projektverlauf reduziert und so eine modifizierte FACS-Version (Facial- Action-Coding-System) entwickelt werden, die zu einem schlanken Analysesystem für die Mimik führten. Möglich wurde dies durch die Reduktion der emotionalen Parameter auf wenige, die speziell im Bereich UX relevant sind.

Da man bei UX-Testings im Wesentlichen auf negative Emotionen wie Ärger oder Verwirrung abzielt, da diese auf Schwierigkeiten in der Bedienung bis hin zum Abbruch der Tätigkeit oder Fehlbedienung führen können, war es möglich, sich auf diese Parameter zu konzentrieren. So konnten die Verfahren maschinellen Lernens gezielt trainiert werden. Und so konnten auch aus Testdaten, die im Rahmen von umfangreichen Labormessungen an der Hochschule entstanden, eigene Verfahren maschinellen Lernens entwickelt werden, die gezielt die UX-relevanten Parameter klassif izieren.

---

Software zur Extraktion zentraler Parameter aus der Stimme

Analog zur Mimik wurden auch für die Extraktion UX-relevanter Parameter aus dem Klang der Stimme relevante Merkmale definiert und aus dem Audiosignal extrahiert. Auf die extrahierten Merkmalsvektoren wurden erfolgreich Methoden maschinellen Lernens trainiert.

Das Funktionieren der erarbeiteten Verfahren konnte im Rahmen eines Proof-of-Concepts für den Prototyp anhand der hochschuleigenen Daten bestätigt werden. Allerdings erwiesen sich hier die zur Verfügung stehenden Daten als noch zu gering für ein marktreifes Produkt. Ein weiteres Training mit frei verfügbaren Daten zu Emotion und Stimme hat sich als kontraproduktiv erwiesen, da diese Daten in der Regel von Schauspielern stammen und zu didaktischen Zwecken, nicht aber zum Training von Methoden Künstlicher Intelligenz aufgenommen wurden. Aus diesem Grund wurden in diesen Daten stimmliche Merkmale in der Regel stark überbetont, was zu einem falsch trainierten Modell führen würde.

Bis zur finalen Markteinführung der Methoden zur Erkennung von Emotionen in der Stimme sind daher noch die Erfassung weiterer Trainingsdaten erforderlich, um die Methoden robust genug für den Einsatz unter verschiedenen Bedingungen zu machen.

---

Softwareoberfläche zur Analyse der Messungen

Zur Entwicklung der Analysemethoden sowie zu verschiedenen Präsentationen wurde eine prototypische Analyseoberfläche geschaffen. Hier wurden einzelne der zentralen Parameter als Kurvenverlauf über die Zeit visualisiert. Diese Möglichkeit der Visualisierung fand ein hohes Interesse bei den Teilnehmern der Feldtests und führte zu einem hinreichenden Feedback für die Finalisierung des Prototyps.

Eingesetzte Methoden des maschinellen Lernens

Im Rahmen des Forschungsprojekts wurden Ansätze des Geometric Deep Learnings untersucht und implementiert. Hier hatte sich früh herausgestellt, dass diese Methoden zwar deutlich rechenintensiver als herkömmliche Methoden maschinellen Lernens sind, jedoch keine signifikant besseren Resultate lieferten.

Aus diesem Grund wurden die Ansätze der geometrischen Vorverarbeitung (Modellierung von Mannigfaltigkeiten) von der Verarbeitung mit Deep Learning getrennt und mit klassischen Methoden des maschinellen Lernens neu kombiniert. Durch die Kombination ergaben sich an die Ziele des Projekts gut angepasste Verfahren, die im Vergleich zu Deep-Learning-Methoden eine deutlich bessere Performance aufwiesen.

Ergebnisse der Feldtests mit dem innovativen Endgerät Professional-UX

Die Feldtests wurden am Peter Osypka Institut der Hochschule Offenburg durchgeführt. Dieses Institut ist spezialisiert auf Kardiologie. Als Testpersonen dienten sechs Studierende im fortgeschrittenen Medizintechnikstudium, die das Labor Herzschrittmacherprogrammierung abgeschlossen haben und erfahren mit entsprechenden Geräten waren. Die Tests fanden mit dem Herzschrittmacherprogrammiergerät Medtronic Viatron 2090 statt.

Die Funktionen der zentralen Elemente des innovativen Eye-Tracking-Geräts wurden erkannt und z. B. das Gewinde für das Anbringen an einem Stativ selbstständig gefunden. Das Anbringen und Abnehmen des Professional- UX-Systems funktionierte problemlos. Der Aufwand für Aufbau, Nutzung und Abbau wurde als gering eingeschätzt.

Wissenschaftliche Vorträge und Publikationen

Die Zwischenergebnisse des Projekts wurden von den Teammitgliedern der Hochschule Offenburg, Prof. Dr. Andrea Müller und Doktorandin Christina Miclau, M.A. auf der HCI International 2019 in Orlando, Florida, präsentiert. Hieraus ist auch eine gemeinsame Veröffentlichung mit dem Titel „Avoiding Mistakes in Medical High-Tech Treatments and E-Commerce Applications – a Salutary UX-Research Innovation“ hervorgegangen.

Weiterhin wurden die Zwischenergebnisse auf dem 14. wissenschaftlichen interdisziplinären Kongress für Dialogmarketing im September 2019 an der Hochschule Pforzheim von Christina Miclau präsentiert und ein gemeinsamer Beitrag mit dem Titel „Nutzerprobleme beim E-Commerce sehen und hören – wie KI die Analyse der User Experience unterstützt“ in „Dialogmarketing Perspektiven 2019/2020 – Tagungsband 14. wissenschaftlicher interdisziplinärer Kongress für Dialogmarketing“ veröffentlicht.

---

Das Professional-UX- Projektteam auf dem Mittelstandskongress

Zur künftigen Vermarktung des Produkts wurde die BiSigma GmbH als 100%ige Tochter von Dr. Hornecker Softwareentwicklung gegründet. Alleiniger Inhaber und Geschäftsführer ist Dr. Achim Hornecker. Sowohl das Verfahren als Ganzes als auch einzelne Komponenten (Software, Eye-Tracker) sollen über diese Gesellschaft vertrieben werden.

Das Projektergebnis ist eine innovative technologische Herangehensweise an das Thema User Experience-Forschung und somit ein Alleinstellungsmerkmal. Hierdurch können sowohl neue Produkte angeboten werden als auch bestehende Produkte beispielsweise im Bereich der Mimik-Erkennung verbessert werden. Für 2020 ist geplant, das Produkt sowie Teile davon primär im Bereich der deutschsprachigen Regionen Europas über die BiSigma GmbH einzuführen. Aufgrund der sehr guten Kooperationserfahrungen im ZIM-Projekt Professional-UX planen die Projektpartner eine weitere Zusammenarbeit im gerade zur Bewilligung eingereichten ZIM-Projekt EmoCare. Es baut auf die erreichten Ergebnisse von Professional-UX auf und überträgt die Fähigkeiten des Systems auf neue Anwendungsfelder der Robotik im Pflegebereich. Bei diesem Projekt wird das fakultätsübergreifende Institut der Hochschule Offenburg Affective & Cognitive Institute (ACI) die Forschung maßgeblich prägen.

Weiterführende Informationen zum Projekt Professional-UX und zum Affective & Cognitive Institute können auf der Webseite https://www.professional-ux.de/ bzw. www.affective-lab.org.de gefunden werden.