Warum Transparenz für die Industrie entscheidend ist

Künstliche Intelligenz ist in fast allen Bereichen unseres Lebens allgegenwärtig – von der Industrie über die Medizin bis hin zur Mobilität. Allerdings sind viele KI-Modelle sogenannte "Black Boxes", denn die Entscheidungen, die sie treffen, sind nicht nachvollziehbar. Das birgt erhebliche Risiken, gerade in sicherheitskritischen oder hochkomplexen technischen Anwendungen. Deshalb forschen Wissenschaftler wie Prof. Dr. Ngonga Ngomo an erklärbarer Künstlicher Intelligenz (XAI). Im Interview spricht Ngonga über die Relevanz von XAI, die Herausforderungen der Integration in technische Systeme und die Zukunftsperspektiven einer transparenten KI.
VDI: Erklärbare Künstliche Intelligenz (XAI) wird immer relevanter. Warum ist sie gerade jetzt so wichtig?
Ngonga Ngomo: Das zentrale Problem ist, dass viele KI-Modelle nicht erklärbar sind. Eine erklärbare KI sollte in der Lage sein, ihre Entscheidungen so zu vermitteln, dass Menschen sie nachvollziehen können. Diese Erklärbarkeit spielt eine entscheidende Rolle für die Anwendbarkeit von KI in der Praxis, denn Ingenieurinnen und Ingenieure verfügen über entsprechendes Fachwissen und tragen am Ende die Verantwortung. Entscheidungen, die nicht erklärbar sind, werden aber häufig nicht oder schlechter akzeptiert, da auch die Konsequenzen vorhersehbar sind. In Anwendungen sehen wir, dass eine nicht erklärbare KI oft auf Skepsis stößt, während eine nachvollziehbare KI deutlich besser akzeptiert wird.
VDI: Warum ist es problematisch, wenn KI-Systeme als „Black Boxes“ fungieren?
Ngonga Ngomo: Die meisten KI-Modelle sind probalistische Modelle. Sie basieren auf Wahrscheinlichkeiten. Gerade in technischen Anwendungen ist das ein Problem, da die aus den Trainingsdaten errechneten Annahmen später nicht mehr leicht korrigiert werden können und das kann kritische Folgen haben. Wenn eine KI eine Entscheidung trifft, die man nicht nachvollziehen kann, fehlt es an Vertrauen und Akzeptanz.
Ein Beispiel ist das Chemical Engineering: Die KI soll hier bei der Synthese neuer Produkter unterstützen. In solchen Syntheseprozessen kennt man zwar die Grundsubstanzen, aber die Zwischenprodukte sind oft unbekannt. Eine KI kann zwar vorhersagen, ob ein solches Zwischenprodukt wahrscheinlich toxisch ist, aber wenn das nicht nachvollziehbar ist, gefährdet das die Arbeitssicherheit oder die Effizienz des Unternehmens. Eine erklärbare KI kann die Begründung für ihre Einschätzung liefern und hilft den Ingenieurinnen und Ingenieuren, ihre Entscheidung abzusichern. Das erhöht die Akzeptanz, denn die Verantwortung tragen ja noch immer die Menschen.
VDI: Wie unterscheidet sich XAI von herkömmlichen KI-Ansätzen?
Ngonga Ngomo: Es gibt zwei Arten von erklärbaren KIs: intrinsisch erklärbare Modelle, die von vornherein transparent sind, also Modelle wie Entscheidungsbäume, und post-hoc erklärbare Modelle, die nachträglich eine Black Box analysieren.
Intrinsisch erklärbare Modelle sind direkt nachvollziehbar, während bei post-hoc Methoden lediglich statistische Annahmen über die Entscheidung getroffen werden.
Gerade in der Industrie brauchen wir Transparenz, denn nur so können fundierte Entscheidungen getroffen werden. Wir brauchen ein Verständnis, um erkennbare Fehler korrigieren zu können.
VDI: Wie kann XAI Vertrauen in KI-Entscheidungen stärken?
Ngonga Ngomo: Wie gerade erklärt, indem sie nachvollziehbare Erklärungen liefert. Wenn eine KI eine toxische Molekularstruktur identifiziert, kann sie mit einer Erklärung belegen, warum das so ist. Bewertet die KI aber einen neuen Stoff als toxisch und wir wissen, dass die chemische Zusammensetzung harmlos ist, müssen wir verstehen, wieso das Modell eine falsche Annahme getroffen hat. Denn nur dann können wir diesen Fehler korrigieren und das System kann lernen. Am Ende wollen wir ja gemeinsam neue Lösungen entwickeln.
Das schafft Vertrauen, weil Nutzer nicht blind einer Entscheidung folgen müssen, sondern eine fundierte Grundlage für ihre Bewertung haben.
VDI: In welchen technischen Anwendungsbereichen wird XAI bereits genutzt?
Ngonga Ngomo: In der Chemie wird XAI eingesetzt, um neue Molekülstrukturen vorherzusagen und Sicherheitsanalysen durchzuführen. In der Lebensmittelindustrie können KIs neue Rezepte generieren, indem sie bestehende Zutatenstrukturen analysieren. Ein weiteres Beispiel ist Predictive Maintenance, also die vorausschauende Wartung von Maschinen. Hier sorgt XAI für mehr Akzeptanz, weil Wartungsempfehlungen erklärbar sind.
Bestimmte KI Ansätze sind auch besser darin, komplexe Strukturen zu entwickeln. Hier gibt es großes Potenzial zum Beispiel in der Medikamentenentwicklung. Hier kann XAI helfen, personalisierte Krebstherapien zu designen, indem sie molekulare Strukturen exakt auf den Patienten anpasst.
VDI: Welche Hindernisse gibt es für eine breite Anwendung von XAI?
Ngonga Ngomo: Der größte Faktor ist ganz klar der technische Mehraufwand. Viele Unternehmen scheuen die zusätzliche Arbeit, obwohl die Vorteile enorm sind. Ein weiteres Problem ist die Definition von „Erklärung“. Menschen bevorzugen interaktive Erklärprozesse, während KIs oft nur eine einmalige Antwort liefern. In der Forschung arbeiten wir darum daran, KIs zu entwickeln, die sich besser an menschliche Denkprozesse anpassen.
VDI: Welche Entwicklungen erwarten Sie in den nächsten Jahren?
Ngonga Ngomo: Ich rechne mit der Entwicklung von „Large Reasoning Models“, also großen Inferenz-Modellen. Während heutige KIs vor allem Sprachverarbeitung beherrschen, könnten zukünftige Modelle logisches Schlussfolgern und komplexe Analysen integrieren. Außerdem wird die Kombination mehrerer spezialisierter Modelle zunehmen. Unser Ziel ist eine KI, die nicht nur Antworten liefert, sondern deren Entscheidungsweg für den Menschen nachvollziehbar bleibt.
VDI: Vielen Dank für das Gespräch!
Zur Person

Prof. Dr. Axel-Cyrille Ngonga Ngomo ist seit 2017 Professor für Data Science an der Universität Paderborn und leitet dort die Forschungsgruppe DICE. Er ist Direktor des Joint Institute for Artificial Intelligence, Koordinator des EU-Netzwerks LEMUR und Mentor des KI-Startups Tentris GmbH.
2023 erhielt er das Lamarr Fellowship des Landes NRW für herausragende Leistungen in KI und Maschinellem Lernen. Zuvor leitete er u. a. das Netzwerk KnowGraphs (2020–2024) sowie die Forschungsgruppen SIMBA und AKSW.
Autorin: Gudrun Huneke
Fachlicher Ansprechpartner:
Dipl.-Ing. Dieter Westerkamp
VDI-Fokusthemas Digitale Transformation
E-Mail: westerkamp@vdi.de