Generativer Foundation Models im Sicherheitskontext (HEGEMON) - Vorinformation

Generative KI-Anwendungen wie ChatGPT oder Midjourney erfahren derzeit eine große Aufmerksamkeit. Die Nutzung dieser Modelle in unterschiedlichsten Anwendungsgebieten ist ohne technische Vorkenntnisse möglich, da sie auf Basis freier Eingaben (Prompts) komplexe und multimodale Ausgaben (z.B. Text, Bild, Audio, Video) erzeugen können. Die zunehmende Adaption generativer KI-Modelle in den Domänen der inneren und äußeren Sicherheit ist angesichts des großen Anwendungspotenzials absehbar. Dabei werden die hinter generativen KI-Anwendungen stehenden Basismodelle (Foundation Models) mehrheitlich von privatwirtschaftlichen Unternehmen zumeist in den USA und China mit hohem Aufwand trainiert und sind danach mit nur geringem Zusatztraining für viele Aufgaben einsetzbar. Ihre zugrundeliegenden Datensätze, Trainingsmechanismen und Modellarchitekturen werden zumeist nicht (mehr) veröffentlicht. Dem hohen Anwendungspotential stehen damit im Hinblick auf den Sicherheitskontext eine derzeit hohe technologische Abhängigkeit und Risiken in der Cyber- und Anwendungssicherheit entgegen. Zur verbesserten Einschätzung der Eigenschaften fremdtrainierter Modelle sind Evaluationen und Vergleiche in Form von Benchmarks zielführend, die aufgrund der hohen Vielseitigkeit und der unstrukturierten Outputs dieser Modelle jedoch ein komplexes Problem darstellen, das im Sicherheitskontext zusätzliche Dringlichkeit erhält. Gerade das holistische Benchmarking bleibt in Anbetracht der zuletzt stark gewachsenen Fähigkeiten großer KI-Modelle eine offene und zunehmend relevante Forschungsfrage. Zielstellung Im Rahmen eines Wettbewerbs sollen umfassende Benchmark-Sets – bestehend aus Aufgaben, Metriken und passenden Testdatensätzen – entwickelt werden, die eine ganzheitliche Evaluation vortrainierter generativer KI-Basismodelle (z. B. Text-Bild-Modelle) zu einem vorgegebenen Anwendungsfall ermöglichen. Zudem sollen Foundation Models auf diesen Anwendungsfall angepasst (Finetuning oder In-Context-Learning