»Wir müssen den Menschen und seine Bedürfnisse in den Mittelpunkt stellen«

Systeme maschinellen Lernens müssen vertrauenswürdig und menschenzentriert sein, sagt Dr. Janika Kutz, Leiterin des Teams »Public Service Innovation« am KODIS. Dazu gehört, den Prozess der Absicherung sowie rechtliche Anforderungen verständlich aufzubereiten. 

Frau Kutz, im März 2024 brachte das EU-Parlament das weltweit erste KI-Gesetz auf den Weg. Nun sollen konkrete Regeln für KI-Anwendungen in Europa folgen. Warum muss die Technologie überhaupt vom Gesetzgeber reglementiert werden?

Weil sie nicht nur viele Chancen bietet, sondern auch erhebliche Risiken birgt. Um diesen zu begegnen und gleichzeitig die Potenziale der KI-Anwendungen zu erschließen, benötigt ihr Einsatz einen rechtlichen Rahmen. Der Gesetzgeber unterscheidet zwischen vier Risikoklassen: niedriges, begrenztes, hohes und inakzeptables Risiko. Zur letzten Kategorie werden Systeme zugeordnet, die zum Beispiel im Zusammenhang mit sozialen Bewertungssystemen stehen. Solche Anwendungen sind in der EU verboten. Ein hohes Risiko wiederum geht von Systemen aus, welche die Gesundheit, Sicherheit oder Grundrechte von Menschen gefährden könnten. Das wären etwa Anwendungen, bei denen eine KI entscheidet, wer einen Kredit oder Job bekommt. Mögliche Diskriminierungen sind dabei unbedingt zu verhindern. Daher braucht es neben den gesetzlichen Regelungen auch technische Standards, die sicherstellen, dass diese Regeln eingehalten werden. Am KODIS arbeiten wir gemeinsam mit unseren Kunden daran, KI-Anwendungen so zu gestalten, dass sie den rechtlichen Bestimmungen und ethischen Standards entsprechen. 

Worauf kommt es dabei an? 

Der Einsatz von KI-Anwendungen ist komplex, es gibt verschiedene Dinge zu berücksichtigen. Einmal brauchen wir eine gute Datengrundlage zum Trainieren der KI-Modelle, dann müssen passende KI-Algorithmen ausgewählt und trainiert werden. Wie autonom eine KI-Anwendung ihre Entscheidungen treffen kann, muss für jeden Use Case festgelegt werden. Es gibt anwendungsfallspezifische Anforderungen an die Erklärbarkeit von KI-Systemen und natürlich auch an Fairness und Datenschutz. Das erschwert es Unternehmen, die rechtlichen Vorgaben umzusetzen. 

Worin besteht die größte Schwierigkeit? 

Wir haben gemerkt, dass in Betrieben eine große Unsicherheit entstanden ist. Was genau kommt da auf uns zu? Können wir überhaupt noch KI-Systeme einsetzen? Und wenn ja, wie? Manche befürchten, dass sich die Entwicklung von KI-Lösungen nicht mehr lohnt, weil der Zertifizierungsprozess so aufwendig ist. Viele treibt die Sorge um, wegen der hohen EU-Auflagen nicht mehr wettbewerbsfähig sein zu können.

Wie können Sie Unternehmen konkret unterstützen?

Wir bringen Ordnung in die vielen verschiedenen Anforderungen. Ich gebe Ihnen ein Beispiel: Gemeinsam mit einem unserer Kunden haben wir einen Leitfaden erarbeitet, der entlang des KI-Entwicklungsprozesses aufzeigt, welche Anforderungen an eine sichere und vertrauenswürdige KI zu berücksichtigen sind. Das hilft dem Unternehmen, sicherzustellen, dass ihr System den EU-Regelungen entspricht. Dabei behandeln wir in verschiedenen Schritten Themen wie die Bewertung der Kritikalität des Anwendungsfalls, Datenerhebung und -analysen, Modellentwicklung und Deployment. Der Leitfaden nutzt sogenannte Karten, die Entwicklerinnen und Entwicklern Orientierung bieten und eine transparente Dokumentation des Entwicklungsprozesses unterstützen.

Welche Fragen und Schritte bilden diese Karten ab? 

Wir möchten Transparenz in den Entwicklungsprozess bringen und Fragen beantworten, die unter anderem auch der EU AI Act vorschreibt: Sind unsere Daten frei von Verzerrungen? Ist unser Trainingsdatensatz groß genug? Was ist unser Anwendungsfall und welche Risiken sind damit verbunden? Mit diesen Karten kann man nachweisen, dass man die entsprechenden Punkte beachtet und die nötigen Schritte erledigt hat. So helfen wir, Lösungen zu finden, damit das Ganze harmonisch funktioniert und diese Prozesse und Methoden einfach zugänglich gemacht werden. Unser übergeordnetes Ziel ist es, dass die Systeme keinen Schaden herbeiführen, etwa durch systematische Diskriminierung, dass sie robust sind und zuverlässige Ergebnisse liefern, und als Folge davon: dass die Menschen ihnen vertrauen.

Wie kann dies gelingen?

Für uns ist es wichtig, dass wir die Entwicklung menschenzentrierter KI-Systeme unterstützen. Darunter verstehen wir Systeme, die nach ethischen Standards entwickelt werden. Das bedeutet, dass nicht nur diverse technische Anforderungen etwa an Zuverlässigkeit oder Robustheit wichtig sind. Wir müssen den Menschen und seine Bedürfnisse in den Mittelpunkt stellen. Aktuell entwickeln wir dafür Design-Prinzipien, die künftig in Ergänzung zu den oben genannten Karten Entwicklerinnen und Entwickler bei der Gestaltung akzeptierter und vertrauenswürdiger KI-Systeme unterstützen sollen.

Können Sie konkrete Beispiele für solche Design-Prinzipien nennen?

Diese erarbeiten wir gerade. Aber ich kann Ihnen einen ersten Einblick geben: Wir möchten vor allem erreichen, dass Nutzerinnen und Nutzer an der Entwicklung beteiligt werden. So stellen wir sicher, dass am Ende auch KI-Systeme entwickelt werden, die einen tatsächlichen Mehrwert haben. Denn nur dann werden sie akzeptiert. Unterstützen sollen die Prinzipien aber auch bei der Integration von KI-Systemen in bestehende organisationale Prozesse oder bei der Ausgestaltung von Kontrollmechanismen. Dazu gehört aber auch, transparente KI-Systeme zu entwickeln. Gemeint ist, dass Menschen in der Lage sein müssen, nachzuvollziehen, wie KI-Entscheidungen zustande kommen.

Wie lässt sich Transparenz von KI-Anwendungen erreichen?

Tatsächlich ist es eine Herausforderung, Nachvollziehbarkeit und Transparenz zu sichern. Viel Forschung rund um Erklärbarkeit beschäftigt sich auf einer sehr tiefgreifenden Ebene mit der Frage. Hier geht es darum, dass Entwicklerinnen und Entwickler verstehen, was in den Systemen passiert. Aber damit ist es nicht getan. Wir müssen auch den Endanwenderinnen und Endanwendern erklären können, wie eine KI zu ihrem Ergebnis kam. Bei bilderkennenden Verfahren gelingt das bereits recht gut. Hier gibt es Anwendungen, die auf einer Art Heatmap zeigen, welche Faktoren die Entscheidung der KI maßgeblich beeinflusst haben. Hier können Menschen gut nachvollziehen, wie die KI arbeitet. Leider ist es nicht immer so leicht, die Begründung für den Output der KI verständlich darzustellen. Das bleibt eine große Aufgabe.

Sie haben einen KI-Demonstrator entwickelt, der Lego-Autos anhand bestimmter Merkmale erkennt. Geht es hier auch um Transparenz?

Ja, auch. Unser Demonstrator dient dazu, Menschen die Perspektive einer KI näherzubringen. Das funktioniert so: Unsere Teilnehmerinnen und Teilnehmer bauen Lego-Autos zusammen, halten sie vor die Kamera und sehen dann, was die KI auf Basis ihrer Trainingsdaten erkannt hat. Gut möglich, dass sie die Fahrzeugart korrekt identifiziert – einen Bus zum Beispiel. Aber was wäre, wenn sie ein Fahrzeug vor die Kamera halten würden, das die KI nicht zuordnen könnte? Sie wird sich bei ihrer Entscheidung an den Details festhalten, die sie identifizieren kann. Wenn wir dann transparent machen, wie KI arbeitet und warum sie wann vielleicht einen Fehler macht, wächst das Verständnis für die Stärken und Schwächen der Technologie. Dieses Grundverständnis aufzubauen, ist unserer Meinung nach enorm wichtig.

Warum ist das Verständnis für die Technologie ihrer Meinung nach so wichtig?

Wir sind davon überzeugt, dass nur ein gutes Verständnis der Technologie die Menschen befähigt, im Berufsalltag selbst Aufgaben zu identifizieren, die sich womöglich mithilfe von KI lösen lassen.  

Unser Ziel ist es, die Basis für diese kreativen Prozesse zu legen, um sie in die Lage zu versetzen, ihren Teil zur KI-Revolution beizutragen. Wenn das gelingt, werden nicht nur immer mehr Menschen KI-Anwendungen nutzen. Sie werden sie auch gerne nutzen.