3 Fragen an…
Dr. Yao Rong
Gruppenleiter
Dr. Yao Rong ist Expertin für Explainable AI (XAI) und hat sich auf die Entwicklung umsetzbarer Erklärungen spezialisiert, die über die reine Modellinterpretation hinausgehen. Ihre Forschung konzentriert sich auf die Operationalisierung von Modell-Erklärungen, um Anwendern dabei zu helfen, große Basismodelle in praktischen Anwendungsfällen wie medizinischen Anwendungen zu prüfen, mit ihnen zu arbeiten und sie zu verfeinern. Indem sie Erklärungen als Diagnosewerkzeug nutzt, untersucht sie in ihrer Arbeit, wie das Training großer Modelle gesteuert und die Inferenzleistung optimiert werden kann. Darüber hinaus integriert ihre Forschung Prinzipien aus der menschlichen Psychologie, um sicherzustellen, dass komplexe Modellverhalten transparent, zuverlässig und mit den menschlichen Absichten im Einklang bleiben.
Dr. Rong promovierte 2024 in Informatik an der Technischen Universität München. Vor ihrer Berufung als Dozentin war sie als Junior Research Fellow und Future Faculty Fellow an der Rice University tätig. Ihre Arbeiten wurden in renommierten internationalen Fachzeitschriften zum Thema maschinelles Lernen veröffentlicht und befassen sich mit der dringenden Notwendigkeit einer nutzerzentrierten KI-Bewertung. In Anerkennung ihrer Forschungsleistungen wurde sie 2025 als MIT EECS Rising Star ausgezeichnet.
1.
Vertrauen, Transparenz und Fairness werden oft zusammen genannt – in der Praxis können sie jedoch auch miteinander in Konflikt stehen. Wie lassen sich diese Ziele in Einklang bringen?
Die Offenlegung einer kontraintuitiven Modelllogik kann das Vertrauen der Nutzer untergraben, während eine hohe Transparenz das Risiko birgt, dass Nutzer das System manipulieren, um bestimmte Ergebnisse zu erzielen, was die gesellschaftliche Fairness beeinträchtigt. Um hier ein Gleichgewicht herzustellen, sollten meiner Meinung nach Fachexperten die Erklärungen überprüfen, um sicherzustellen, dass sie robust und ethisch vertretbar sind. Bei diesem Ansatz wird die Modell Erklärung als Diagnosewerkzeug zur Modellverbesserung betrachtet, wobei ein Experte hinzugezogen wird, um sicherzustellen, dass die Systeme transparent und vertrauenswürdig bleiben.
2.
Wie können erklärbare KI-Methoden dabei helfen, Fehler, Verzerrungen oder Unsicherheiten in Modellen frühzeitig zu erkennen?
Modellzentrierte XAI-Algorithmen zeigen die Merkmale auf, die Entscheidungen beeinflussen. Durch die Visualisierung der Merkmalsbedeutung und der kausalen Zusammenhänge können wir falsche Korrelationen erkennen, bei denen sich ein Modell auf irrelevante Artefakte stützt. Datenzentrierte Erklärungen identifizieren Trainingsbeispiele, die möglicherweise verzerrt oder unzureichend sind. Zusammen decken diese Methoden zugrunde liegende Probleme auf und erleichtern das Feedback von Experten, um das Modelltraining frühzeitig zu verbessern.
3.
Ihre Forschung schließt die Lücke zwischen Grundlagenforschung und realen Anwendungsszenarien. Was ist Ihrer Meinung nach entscheidend dafür, dass Forschungsergebnisse den Weg in die Praxis finden?
Meiner Ansicht nach ist der wichtigste Faktor für die Umsetzung von Forschungsergebnissen in die Praxis die Identifizierung der funktionalen Lücken in aktuellen Anwendungen. Beispielsweise ist ein Arzt, der KI zur Transkription von Patientengesprächen einsetzt, am besten in der Lage, zu erkennen, wo das Modell hervorragende Leistungen erbringt und wo es versagt. Diese realen Einschränkungen dienen dann als Roadmap für die weitere Forschung. Um dies zu erreichen, ist eine interdisziplinäre Zusammenarbeit unerlässlich.
