Wie nachvollziehbar muss das Verhalten eines autonomen Systems sein? Was sagen Dr. Christine Maul und Prof. Klaus Dieter Sommer hierzu?
Um autonome Systeme richtig und nutzbringend einsetzen zu können, braucht es den technisch-wissenschaftlichen und gesellschaftlichen Diskurs. Die Arbeitsgemeinschaft „Autonome Systeme“ der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (VDI/VDE-GMA) hat zehn Grundsatzfragen formuliert. Im 4. Interview der Reihe "Künstliche Intelligenz und autonome Systeme" stellen sich Dr. Christine Maul (Covestro; Vorstandsmitglied der VDI/VDE-GMA) und Prof. Klaus Dieter Sommer (Technische Universität Ilmenau; Beiratsmitglied der VDI/VDE-GMA) der Frage "Wie nachvollziehbar muss das Verhalten eines autonomen Systems sein?"
VDI: Was verstehen wir unter Nachvollziehbarkeit und Transparenz des Verhaltens eines autonomen Systems?
Prof. Sommer: Nachvollziehbarkeit eines Verhaltens ist für mich, sehr vereinfachend gesprochen, etwas, das ich erklären und möglichst auch interpretieren, auf jeden Fall verstehen kann oder das schlicht meinen Erfahrungen entspricht. Auf autonome oder allgemein intelligente Systeme bezogen, bedeutet dies u. a. die Fähigkeit zur Beantwortung relevanter Fragen wie
- Warum verhält sich das System jetzt so und nicht anders?
- In welchen Fällen oder unter welchen Umständen (Zuständen und Eingangssignalen) kann ich dem Verhalten vertrauen?
- Welche Parameter beeinflussen das Verhalten und das resultierende Handeln des Systems am stärksten?
- Gibt es eine klare, gegebenenfalls quantifizierende Übersicht, welches Vertrauen ich unter welchen Umständen an das Handeln des Systems haben kann? und
- Wie könnte ich im Falle eines Fehlverhaltens richtig eingreifen?
Vorstandsmitglied der VDI/VDE-GMA
VDI: Nachvollziehbar für wen im Regelfall?
Dr. Maul: Die Frage der Nachvollziehbarkeit eines autonomen Systems stellt sich für verschiedene Anwender unterschiedlich dar. Entsprechend der Rolle der Anwender und der Aufgabe des Systems sollten wir hier Fallunterscheidungen treffen.
Ein „einfacher“ Nutzer eines autonomen Systems, der Interesse daran hat, dass eine Aufgabe gelöst wird, ohne dass er – der Nutzer – Zeit und Gedanken daran verschwenden muss, hat vermutlich kein tiefergehendes, bis auf das Niveau der Algorithmen reichendes Interesse an einer Nachvollziehbarkeit des Systemverhaltens. Ich bin mir noch nicht einmal sicher, ob es ihn interessiert, ob das System autonom einen neuen Lösungsweg findet oder „nur“ automatisiert eine vorgegebene Lösung erarbeitet, solang er mit der Qualität der Lösung zufrieden ist.
Ein Experte des jeweiligen Aufgabengebietes, der das System z. B. in eine Prozesssteuerung eingliedern muss oder dessen weiteres Anwendungs- oder Entwicklungspotenzial analysiert, möchte sicherlich genauer wissen, wie das autonome System zu einer Antwort kommt, um den Lösungsweg mit seinem eigenen Weg zu vergleichen. Er möchte nachvollziehen, welche Regeln berücksichtigt werden und wie Änderungen den Lösungsweg beeinflussen.
Relevante Bereiche, in denen die Nachvollziehbarkeit und Transparenz des intelligenten, lernenden Systems sicher eine größere Rolle spielt, sind unter anderem sicherheitsrelevante Anwendungen, z.B. das bekannte autonome Fahrzeug, Logistiksysteme, und auch autonome medizinische Diagnose- und Therapiesysteme.
VDI: Gibt es dazu ein passendes Beispiel?
Dr. Maul: Das Beispiel des Virenscanners, das Dr. Attila Bilgic in dieser Interviewreihe bei seiner Antwort auf Frage 1 eingeführt hat, passt hierzu: Ich möchte als simpler Anwender nicht unbedingt verstehen, wie mein Virenscanner im Detail funktioniert. Der Scanner soll im Hintergrund laufen, er soll mich nicht in meiner Arbeitsfähigkeit einschränken, aber er soll Viren fernhalten. Solange kein Virenbefall auftritt, wurde die Aufgabe erfolgreich gelöst und ich kümmere mich nicht weiter darum. Ein Experte möchte herausfinden, wie der Scanner neue Viren findet und mit welcher Strategie er dabei vorgeht, entweder um den Scanner zu verbessern oder um ihn zu überlisten.
VDI: Was passiert im Ausnahmefall?
Dr. Maul: In unserer komplexen Welt sind wir bei vielen Themen gewohnt, Aufgaben abzugeben. Wir wollen auch nicht alles in unserem täglichen Leben nachvollziehen, wir wollen nur, dass alles funktioniert. Ausnahmen können selbstverständlich technikbegeisterte Menschen sein, die auch Details wissen und verstehen möchten. Das alles ändert sich, sobald etwas nicht funktioniert und hier kommen wir zur Fallunterscheidung. Je nach Tragweite der Fehlfunktion ist das danach einsetzende Misstrauen in die Zuverlässigkeit des Systems groß und kann so weit führen, dass wir das System ablehnen, es also nicht mehr nutzen, sondern zu altbewährten Methoden zurückkehren, weil diese uns verlässlicher scheinen. Dabei prüfen wir selten Statistiken, sondern handeln meist emotional.
VDI: Gibt es dazu ein passendes Beispiel?
Dr. Maul: Das viel diskutierte Beispiel des führerlosen Fahrzeugs muss auch hier herhalten: Alle Unfälle mit führerlosen Fahrzeugen haben eine große Presse bekommen und insbesondere die Todesfälle haben verständlicherweise zu Zurückhaltung geführt, solche Fahrzeuge im Selbstversuch zu testen. Dabei hat aber niemand die Statistik zu Rate gezogen und die prozentuale Anzahl der Unfälle im normalen Straßenverkehr mit denen mit hoch automatisierten oder autonomen Fahrzeugen verglichen.
Zusammenfassend kann man festhalten, dass die Notwendigkeit, autonome Systeme nachvollziehbar zu gestalten, in vielen speziellen Anwendungsfällen groß ist. Nachvollziehbarkeit schafft Vertrauen in das System. Wie dies umgesetzt wird, um auch Laien verständliche Erläuterungen hierzu zu liefern, ist eine Herausforderung.
VDI: Ist Nachvollziehbarkeit von realen KI-Systementscheidungen und speziell des Verhaltens autonomer Systeme mehr als mein persönliches Empfinden dazu?
Prof. Sommer: Ja, natürlich, die sogenannte erklärbare und transparente KI ist seit einigen Jahren, auch international, eine eigene Forschungs- und Entwicklungsrichtung, mit ersten Anwendungen bzw. Tests u. a. in der Medizin, (Diagnoseassistenz, autonome Therapiesysteme), für chemische Prozesse, Energieerzeugung und -verteilung, Luftfahrt, Militär, Datenanalyse und weitere autonome Systeme. Forschung zur erklärbaren und transparenten KI wird schon häufig als künftiges „Megathema“ gesehen und übrigens gut gefördert.
VDI: Gibt es vielversprechende systematische Strategien und Lösungsansätze zur Realisierung?
Prof. Sommer: Lassen Sie uns vorne beginne: den autonomen Systemen liegt maschinelles Lernen zur Analyse von Daten als Methode zugrunde. Nach heutigem Konsens ist in jedem Fall eine nachgelagerte systeminhärente Überprüfung, Validierung und Interpretation der Ergebnisse notwendig.
In der Tat gibt es eine ganze Reihe konkreter und schon erprobter Ansätze dazu. Was unserer klassischen Herangehensweise in der Mess- und Automatisierungstechnik nahe kommt, ist z. B. die sogenannte Schichtweise-Relevanz-Fortpflanzung. Bei dieser werden die angelernten Wichtungen der Neuronenschichten rückwärts betrachtet (fortgepflanzt). Daraus lassen sich Aussagen zur Klarheit und Sicherheit einer generierten Lösung sowie zu den dominanten, entscheidungsrelevanten Eingangsparametern treffen. Ähnlich nahe an bekannten Herangehensweisen erscheint der probabilistische Ansatz, die sogenannte Bayesian Rule List zu liegen.
Durchsetzen werden sich die verlässlichsten und bezüglich ihrer Strategie verständlichsten Ansätze.
VDI: Welche kurzfristige Bedeutung, z. B. für die Serienfertigung im Maschinen- oder Fahrzeugbau haben die erklärbare und transparente KI und die autonomen Systeme?
Prof. Sommer: Wir sehen seit einiger Zeit eine rasante Entwicklung weg von der Großserienfertigung hin zur personalisierten Produktion. Permanent wechselnde Vorgaben für die Fertigungsstrecken und Parameteränderungen müssen berücksichtigt und schnell und ohne zeitintensive Umrüstungen zum geforderten Ergebnis führen. Modelle der Prozesse und Produkte (Digital Twins) werden immer wichtiger; sie sind schneller und einfacher zu handhaben als reale Messwerte. Machine-Learning-Prozesse ermitteln daraus die Fertigungsparameter, und darauf muss Verlass sein Sie müssen also validiert und nachvollziehbar sein. Eventuell notwendige, physische Änderungen an der Fertigungsstrecke werden vorzugsweise durch mobile Roboter durchgeführt oder kompensiert, wofür entsprechende Forderungen existieren.
VDI: Möchten Sie abschließend aus Ihrer Sicht einen Entwicklungszielpunkt für Nachvollziehbarkeit und Transparenz, insbesondere des Verhaltens autonomer Systeme setzen?
Prof. Sommer: Persönlich, als Messtechniker, favorisiere ich ein mittelfristig sicher erreichbares Ziel, nämlich die Ergebnisse und Entscheidungen von intelligenten Systemen bzw. das Verhalten autonomer Systeme in ihrer Qualität quantifizierbar zu machen, z. B. mittels Klassifizierung oder einem probabilistischen Vertrauens-Statement. Etwa wie wir heute die Qualität von Messergebnissen anhand der Messunsicherheit nach internationalen Regeln bewerten.
Das Interview führte Dr.-Ing. Dagmar Dirzus, Geschäftsführerin der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik.
E-Mail: dirzus@vdi.de
Alle Interviews zu finden Sie auf unserer Themenspecial-Seite: "KI und autonome Systeme - 10 offene Fragen"