„Digitale Einfallstore sind zu vermeiden“
Bild: metamorworks/shutterstock.comDie Arbeitsgemeinschaft „Autonome Systeme“ der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (VDI/VDE-GMA) hat zehn Grundsatzfragen zum Thema „Künstliche Intelligenz und autonome Systeme“ formuliert. Im Interview beantwortet Prof. Dr.-Ing. Michael Weyrich, Leiter des Instituts für Automatisierungstechnik und Softwaresysteme (IAS) an der Universität Stuttgart und Mitglied des Vorstands der VDI/VDE-GMA, wichtige Aspekte zur Grundsatzfrage: Wie sicher ist das autonome System?
Was bedeutet Sicherheit im Zusammenhang mit autonomen Systemen?
Michael Weyrich: Bei technischen Systemen unterscheidet man grundsätzlich zwischen zwei Aspekten der Sicherheit, die durch die englischen Begriffe Security und Safety zum Ausdruck gebracht werden. Bei Security geht es um die Sicherheit vor Eingriffen Dritter, die versuchen, das System zu manipulieren. Autonome Systeme sind hier besonders gefährdet, da sie in allen Funktionen gesteuert werden, also ein großes Spektrum möglicher Angriffsflächen bieten können, auf das sich Einfluss nehmen lässt. Dazu gehört das Ausspionieren privater Daten. Theoretisch könnte aber auch eine autonome Drohne durch einen Hacker komplett übernommen und ferngesteuert werden. Es fällt nicht schwer, sich auszumalen, was dann alles passieren kann und wie sich kriminelle Szenarien entwickeln können. Bei Safety geht es um die Sicherheit des technischen Systems in seiner Außenwirkung auf die Umgebung und den Menschen. Die Schlagzeile „Roboter verletzt Mensch“ ist ein typisches Beispiel für die Problematik der Safety.
Was bedeutet dies für autonome Systeme?
Weyrich: Komplexer wird dies bei voll-automatisierten oder gar autonomen Systemen, da diese über die jeweilige Funktion und deren Ausführung selbstständig entscheiden können. In der Community wird daher das Thema „Safety Of The Intended Functionality“, also eine Sicherheit der Sollfunktion aktuell sehr intensiv diskutiert. Noch vielschichtiger wird das Thema der Safety, sobald dieser Handlungsrahmen des autonomen Systems erweitert wird. An dieser Stelle diskutieren Gremien hinsichtlich internationaler Standards sowie Ethik-Experten und die Politik nach wie vor noch sehr grundlegend.
Wie lassen sich die Funktionen von autonomen Systemen schützen?
Weyrich: Beim Schutz der Security gilt ein ähnliches Vorgehen wie für alle Systeme, die vor externen Angriffen geschützt werden sollen. Digitale Einfallstore sind zu vermeiden und organisatorischen Tricks ist vorzubeugen. Spannend wird es bei der Frage, wie die Safety, also die Maschinensicherheit einer „Sollfunktionen” sichergestellt werden soll, ohne diese im Detail zu spezifizieren. Nehmen Sie nur das Thema des Stau-Assistenten, der Auffahrunfälle auf Staus verhindern soll. Die Grundfunktion ist rasch spezifiziert, die Szenarien sind jedoch sehr vielschichtig. Bei autonom fahrenden Autos geht man heute davon aus, dass bis zu 250 Millionen Kilometer in unterschiedlichsten Fahrsituationen durchfahren werden müssen, damit alle „Corner Cases“ tatsächlich auch durchlaufen werden. Erst wenn ein Fahrzeug diese große Menge an Testfahrten erfolgreich absolviert hat, kann man rückschließen, dass das Verhalten dem eines Menschen entspricht oder sogar besser ist. Es liegt auf der Hand, dass so viele Testfahrten nicht alleine in der realen Welt gefahren werden können, sondern auch in Simulationen durchgeführt werden müssen. Trotzdem ist dieses sogenannte Brute-Force-Verfahren, also das erschöpfende Ausprobieren aller möglichen Fälle, wegen der großen Menge der zu fahrenden Kilometer sehr aufwendig.
„Bei autonomen Systemen passieren völlig neuartige Fehler“
Welche Wege kann man überhaupt beschreiten?
Weyrich: Vor diesem Hintergrund müssen Alternativen detektiert werden, da es auf der Hand liegt, dass nicht nach jedem kleinen Update ein umfassender Zulassungstest wirtschaftlich darstellbar ist. Das beschriebene Vorgehen mit so vielen Testkilometern entspricht darüber hinaus auch nicht dem heutigen Verhalten. Wenn heute eine Führerscheinprüfung durchgeführt wird, sitzen wir mit einem Fahrprüfer im Auto, der bereits nach kurzer Zeit bescheinigt, ob man eine Fahrerlaubnis erhält oder nicht. Natürlich hat ein solcher Fahrprüfer sehr viel Erfahrung und ein gehöriges Maß an Gespür für den Prüfling und die Fahrsituationen. Für autonome Systeme ist so ein Vorgehen heute noch nicht abzusehen, obwohl wir genau in diese Richtung denken müssen, um überhaupt Sicherheitszertifikate vergeben zu können.
Und funktioniert das?
Weyrich: Genau hier setzen unsere aktuellen Forschungen an. Wir benötigen Methoden, die man zum Test von autonomen Systemen einsetzen kann, um zu Aussagen zu deren Sicherheit zu gelangen. Ähnlich dem Vorgehen eines Fahrprüfers evaluieren wir mit unserem Testnavigator während des Tests, wie sich das getestete System verhält und ob besondere Detailprüfungen erforderlich sind oder nicht. Damit können wir Testfälle gezielt auswählen und so den Gesamttest schneller und effizienter durchführen, als dies mit dem Brute-Force-Verfahren möglich wäre. Allerdings brauchen wir auch hier eine weiterführende gesellschaftliche Diskussion, denn die Straßenverkehrsordnung lässt viele Situation deutlich zu unkonkret, um darauf Tests von autonomen Fahrzeugen durchführen zu können. Andere Ordnungen für Drohnen oder für spezielle Roboter etwa in der Produktion existieren noch gar nicht. Darüber hinaus passieren bei autonomen Systemen völlig neuartige Fehler, die durch Radar, Reflektionen oder Effekte in der Mustererkennung ausgelöst werden. Dies kann dazu führen, dass in einer für den Menschen eindeutigen und einfachen Fahrsituation durch das autonome System trotzdem und plötzlich Fehler auftreten, die der Mensch so nicht erwartet hat und die zunächst unerklärlich erscheinen. Auch hierzu benötigen wir Forschungsergebnisse, um kritische Szenarien für autonome Systeme kennen und testen zu lernen.
„Menschen nehmen Risiken in Kauf“
Apropos Lernen. Was passiert, wenn die Systeme im Betrieb Neues Erlernen?
Weyrich: Bisher haben wir nur über solche Systeme gesprochen, die durch Fachabteilungen der Hersteller entwickelt und dann eingesetzt werden. Eventuell kann dieser Einsatz auch per Update erfolgen sobald neue Algorithmen vorliegen. Das Lernen erfolgt dabei in den Entwicklungsabteilungen und nicht etwa während des Betriebs des autonomen Systems. Ich persönlich glaube, dass dies auch noch länger so bleiben wird, schon allein aus Gründen der Produkthaftung. Allerdings macht auch ein Software-Update, selbst wenn es nur eine Komponente betrifft, die oben genannte Gesamtzertifizierung hinfällig, und es müsste nach heutigem Stand wieder eine komplett neue Zulassung erfolgen.
Wie entwickelt sich das Thema vor diesem Hintergrund weiter?
Weyrich: Nun, Menschen nehmen Risiken in Kauf. Schauen Sie sich mal die USA an. Dort sind autonome beziehungsweise hoch-automatisierte Fahrzeuge zulassungsfähig. Schon heute benutzen viele Menschen diese Funktionalitäten, sind stolz darauf, erzählen ihren Freunden davon und kümmern sich dabei nicht um die Zertifizierung, obwohl es immer wieder schlimme Unfälle gibt. In Europa sind wir hier vorsichtiger und verlangen im Vorfeld alle möglichen Prüfungen und Nachweise. Dafür fällt, wie bei einem amerikanischen Hersteller geschehen, niemandem während der Fahrt das Lenkrad ab. Meine Erwartung ist: Es wird weiterhin eine gesellschaftlich wichtige aber auch schwierige Diskussion über die Sicherheit von autonomen Systemen geben. Diese wird in den Ländern der Erde unter Umständen auch einen jeweils anderen Verlauf nehmen. So oder so, es ist absehbar, dass es auch folgenschwere Unfälle geben wird, die die gesellschaftliche Diskussion in die eine oder andere Richtung lenken werden. Sicher ist aber auch, dass es zunehmend zu Verbesserung von autonomen Systemen kommen wird und uns diese letztlich im Thema der Zuverlässigkeit womöglich sogar beflügeln werden. Wie lange es dauern wird, bis Ihre Nachbarn die Kinder von der Straße rufen, wenn sie sehen, dass Sie mit Ihrem Oldtimer aus dem Jahr 2020 selbst eine Spazierfahrt am Sonntagnachmittag machen und alle autonomen Funktionen ausgeschaltet haben, vermag niemand zu sagen. Aber ich glaube, es könnte eine Zeit kommen, in der man eher einem autonomen System beim Thema Sicherheit vertraut als dem Menschen. Das allerdings wird noch eine ganze Weile dauern.
Interview: Dr.-Ing. Dagmar Dirzus, Geschäftsführerin der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik
E-Mail-Adresse: dirzus@vdi.de