Nachtrag zum Forschungsprojekt "Sicherheitsargumentation mittels erklärbarer KI für das automatisierte Fahren im Bahnbetrieb

Im Rahmen des Projekts „Sicherheitsargumentation mittels erklärbarer KI für das automatisierte Fahren im Bahnbetrieb (XRAISE)“ untersuchen die Antragsteller, welche Methoden der erklärbaren Künstlichen Intelligenz (XAI) sich für die Sicherheitsbewertung von KI-Systemen im Schienenverkehr eignen. Hierzu wurden ein bahnspezifischer Datensatz aufgebaut, erste Modelle trainiert, Reviews erstellt und Experimente durchgeführt und analysiert. Ergebnisse aus dem bisherigen Projektverlauf, basierend auf Schlussfolgerungen der im Rahmen des Projektes durchgeführten Reviews und Experimente, zeigen, dass die Eignung von XAI-Methoden und Methodenkombinationen (sowohl Typen von Methoden als auch konkrete Einzelmethoden innerhalb dieser Typen) von Kontextfaktoren wie der konkreten Aufgabe, der Leistung des KI-Modells oder verschiedenen Eigenschaften der Bilder und der Nutzer abhängt. Eine verbindliche Festlegung auf eine einzelne Methode für die Sicherheitsprüfung ist daher nicht zielführend. Stattdessen wird angenommen, dass Anwenderinnen und Anwender flexibel zwischen verschiedenen Methoden und Modellversionen wechseln können, was es zu prüfen gilt. Insbesondere die Kombination aus salienz- und konzeptbasierten XAI-Methoden erwies sich im Rahmen der durchgeführten Experimente als vielversprechend. In der Evaluation zeigte sich jedoch, dass konzeptbasierte Methoden aufgrund begrenzter Datenbasis derzeit keine hinreichend aussagekräftigen Erklärungen liefern. Für das Training der untersuchten KI-Modelle sind nicht ausreichend annotierte Daten aus der relevanten Domäne (RGB-Bilder aus Perspektive einer Eisenbahn-lock) vorhanden. Dies war zu Projektbeginn nicht ersichtlich, da keine öffentlichen Benchmarks zu Modellen in der Domäne des Schienenverkehrs verfügbar waren und es kein kontext-spezifisches Vorwissen darüber gab, ab welcher Trainingsdaten-Menge die verschiedenen XAI-Methoden die untersuchten KI-Modelle plausibel erklären können. Um nun, wie im ursprünglichen Projektantrag