"Wie machen wir das autonome System autonom?"

VDI: Herr Prof. Weyrich, bevor wir über das „wie“ sprechen, möchte ich von Ihnen wissen, „was“ ein autonomes System autonom macht.

Weyrich: Da streite ich mich immer mit den Informatikern, die autonome Systeme als logische Weiterentwicklung automatisierter Systeme sehen. Doch das ist meiner Meinung nach nicht ganz korrekt. Autonomie hat in erster Linie mit Selbstbestimmung zu tun, während sich Automation auf prozedurale Steuerungsabläufe bezieht. Diese sind eventuell vorausschauend, aber eben fest vorgegeben.

Ein System, das autonom ist, kann – in gewissen vorgegebenen Leitplanken – selbstbestimmt agieren. Automation gibt es hingegen seit vielen Jahren. Sie folgt seit jeher vorgegebenen Prozessen, indem sie deterministisch zwischen vorgegebenen Möglichkeiten entscheidet. Auch das kann sehr komplex sein: Wer sich einen Entscheidungsbaum mit mehr als vier Ebenen und jeweils nur zehn Variationen vorstellt, der landet bereits bei 10.000 Möglichkeiten.

VDI: Welche Methoden der Automation gibt es aktuell? 

Weyrich: Viele – es gibt eine große Anzahl an Verfahren, die eingesetzt werden und mehr oder weniger gut funktionieren. Nachdem früher viel mit Regeln gearbeitet wurde, sind es heute meistens Verfahren des „Machine Learning“. Sie werten Daten aus, um Lösungen zu finden. Zu nennen sind hierbei Neuronale Netze in verschiedenen Ausprägungen, aber auch Algorithmen zur Optimierung (genetische Algorithmen, NLP usw.) oder Clusterung (SVM, Random Forrest, k-NN) mit denen diese Daten ausgewertet werden können. 

Auch Bayes’sche Netze, die mit bedingten Wahrscheinlichkeiten arbeiten, liefern bei bestimmten Problemen gute Ergebnisse. Es ist eine Aufgabe der aktuellen Forschung, die vielen Ideen und Konzepte für die speziellen Anwendungsfälle gangbar zu machen. Wir sind heute allerdings noch sehr stark im Bereich der „Schwachen KI“ unterwegs.

Autonome Systeme gehen im Sinne der Selbstbestimmung noch einen Schritt weiter. Und das ist das Neue! Sie verlassen das heutige Paradigma von festgelegten und vorausgedachten Abläufen, die mithilfe von den oben genannten Algorithmen atomisiert spezielle Probleme lösen. Ein technisches System, das selbstbestimmt agiert, verlässt den Pfad des nachvollziehbaren Determinismus und erlaubt selbstgewählte neue Wege, zu denen nur Wahrscheinlichkeitsaussagen möglich sind.

VDI: Was heißt „deterministische Wege verlassen“ genau?

Weyrich: Nehmen wir ein sehr großes System an. Das hat, wenn es automatisiert ist, immer noch klare Regeln. Das Verhalten des Systems lässt sich also genau vorhersagen. Ein Test würde also immer wieder das gleiche Ergebnis liefern.

Wenn wir ein autonomes System betrachten, dann werden Ziele verfolgt, die erreicht werden sollen. Eine ganze Reihe von software-technischen Ansätzen versucht, Systeme dahingehend zu befähigen. Sie setzen häufig sogenannte Agenten ein, die mit Methoden des „Bestärkenden Lernens“ (Reenforcement Learning) komplexe Zielkriterien erreichen sollen. 

Bedeutet: Der „Agent“ erhält bestimmte Fähigkeiten und Kompetenzen und bekommt dann eine Aufgabe und Ziele, die es zu bewältigen gilt. Er erarbeitet selbstständig Lösungen, um eine „Belohnung“ zu erhalten. Ein optimaler Prozess und eine Vorgehensweise, mit der die Lösung gesucht wird, sind nicht vorgegeben. Der Agent lernt also anhand der Interaktion mit seiner Umgebung und mittels Feedback-Schleifen zu seinem Handeln. 

Vorgegeben sind allein Metriken, mit denen das gewünschte Ergebnis bewertet wird. Außerdem werden oft Leitplanken bzw. Grenzbereiche vorgegeben und ständig überwacht. So kann sich ein autonomes System nicht vollständig aus dem Lösungsraum entfernen.

VDI: Es ist also möglich, autonomen Systemen Leitplanken vorzugeben, die diese einhalten?

Weyrich: Theoretisch ist es natürlich denkbar, dass ein System erkennt, dass bestimmte Leitplanken aus seiner Sicht nicht sinnvoll sind. Es könnte diese rein theoretisch einreißen. Doch mit diesem Szenario befinden wir uns außerhalb dessen, was derzeit und auch in absehbarer Zeit technisch möglich ist und befinden uns in einem eher metaphysischem Frageraum, in dem Algorithmen auch in der Lage wären, Gewerkschaften zu gründen.

Technologisch sind wir da begrenzt: gesetzte Systemgrenzen bleiben Grenzen. Die oben beschriebenen Verfahren funktionieren gut für klar strukturierte Problemstellungen wie etwa Brettspiele. Aber auch AlphaGo oder DeepMind werden nach heutigem Stand der Technik nicht verkünden: „Ich mag Go nicht mehr – ich spiele jetzt lieber Schach!“.

VDI: Dann ist also auch ein autonomes System beherrschbar?

Weyrich: In seinen Leitplanken schon. Die zentrale Frage, die wir auch innerhalb dieser Leitplanken vorgeben können, lautet: Was passiert, wenn sich Systeme von einem deterministischen Steuerungsparadigma hin zu selbstlernenden oder gar Transfer lernenden Systemen weiterentwickeln? Von da an sind die Systementscheidungen nicht mehr nachvollziehbar und können – vor allem bei komplexen Systemen – unterschiedlich ausfallen, wenn sich einzelne Wahrscheinlichkeiten verändern. 

Nehmen wir das oben gewählte Beispiel mit einem Entscheidungsbaum und mehreren Entscheidungsebenen. Der Weg zur Lösung ist nicht exakt vorgegeben. Das System lernt anhand von Daten, auf die es Zugriff hat, mit welchen Wahrscheinlichkeiten welcher Entscheidungsweg derjenige ist, der das System schneller an sein Ziel führt. Wenn sich nur an einer einzigen Stelle von Transition A zu Transition B die Wahrscheinlichkeit zugunsten eines anderen Pfades verändert, dann ändert sich auch die Handlungsentscheidung. Die Überprüfbarkeit von Entscheidungen und vor allem die Vorhersage in definierten Systemgrenzen werden unübersichtlich oder sind für Außenstehende nicht mehr nachvollziehbar. Auf dieser Basis würde beispielsweise ein autonomes Fahrzeug heute keine TÜV-Plakette bekommen. Denn es handelt sich ja um ein selbstlernendes, also ein sich veränderndes System. Außerdem ergibt sich noch ein ganz anderes Problem: das der Haftung. Wenn zum Beispiel ein selbstfahrendes Auto einen Unfall verursacht – wer trägt dann die Schuld? 

VDI: Das Verhalten eines selbstlernenden Systems kann also nicht vorhergesagt werden? 

Weyrich: Doch – schon, aber es muss übergeordnete Abnahmetests geben, die das Gesamtverhalten überprüfen. Wir akzeptieren heute anstandslos Führerscheinprüfungen, bei denen ein Mensch über einen kurzen Zeitraum sein Können demonstriert und dann eine Fahrerlaubnis erhält. Man diskutiert dann lediglich noch wie lange eine Probezeit gilt.

Für autonome System muss das ähnlich werden. Aufgrund eines sogenannten deterministischen Chaos müssen wir uns von der Vorstellung lösen, jeden einzelnen Steuerungsschritt haarklein überprüfen zu wollen. Vielmehr muss es Szenarien geben, die die kritischen Situationen abfragen und prüfen. Dieses Problem stellt sich übrigens auch bei komplexen Steuerungssystemen, die mit konventionellen Methoden entworfen wurden.

Für den Einsatz werden bestimmte Szenarien angenommen. Wird das System jedoch später in einem etwas veränderten Umfeld eingesetzt, so ist das Problem im wahrsten Sinne des Wortes vorprogrammiert! Denn wenn man keinen „Szenario-Check“ eingebaut hat, der überprüft, ob an alle relevanten Situationen gedacht wurde, so kann das Ergebnis vollkommen falsch ausfallen. 

VDI: Ist überhaupt eine verlässliche Aussage darüber möglich, ob und wann ein lernendes System korrekt funktioniert? 

Weyrich: Es gibt statistische Aussagen dazu, wann ein autonom fahrendes Fahrzeug mit sehr hoher Wahrscheinlichkeit mindestens so gut funktioniert, wie man es heute von den Unfallzahlen im Straßenverkehr gewohnt ist. Je nach Berechnungsansatz landet man im Bereich von vielen hundert Millionen Kilometern, die zurückgelegt werden müssten, um klare statistische Belege zu liefern, dass das System korrekt und so zuverlässig reagiert, wie heute menschliche Fahrer.

Es ist also alles eine Frage des Reifegrads und der Wahrscheinlichkeiten, ihrer Bewertung und des Bewusstseins dafür, dass solche umfassenden Tests zu Beginn gar nicht möglich sind.

VDI: Herr Prof. Weyrich, vielen Dank für das Gespräch!

Das Interview führte: Dr.-Ing. Dagmar Dirzus, Geschäftsführerin der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik
E-Mail: dirzus@vdi.de

Redaktionelle Bearbeitung: Thomas Kresser

Alle Interviews zu "KI und autonome Systeme - 10 offene Fragen" finden Sie auf unserer Themenspecial-Seite.