Maschinelles Lernen: So geht industrielle Bildverarbeitung heute
Fertigungsprozesse effizienter machen und die Qualität der Produkte verbessern – vor diesen Anforderungen steht die Industrie immer wieder aufs Neue. Ohne die industrielle Bildverarbeitung ist das heute nicht mehr zu machen. Sie trägt dazu bei, komplexe industrielle Aufgaben zuverlässig und mit wiederholbaren Ergebnissen auszuführen. Maschinelles Lernen spielt dabei eine zentrale Rolle – ein Überblick der VDI-Gesellschaft Mess- und Automatisierungstechnik.
Steigende Anforderungen an die Qualität von Produkten und Fertigungsabläufen haben die industrielle Bildverarbeitung zu einer Schlüsseltechnologie gemacht. Bildverarbeitungssysteme basieren auf digitalen Sensoren in Industriekameras, die mit einer speziellen Optik zur Bilderfassung ausgestattet sind. In der automatisierten Fertigung wird die Bildverarbeitung eingesetzt, um Produkte während des Herstellungsprozesses zuverlässig, objektiv und nahezu vollautomatisch zu überwachen. Weitere Einsatzfelder der industriellen Bildverarbeitung sind die Objekt- und Zeichenerkennung sowie die berührungslose Messtechnik.
Durch Maschinelles Lernen, als Teildisziplin der Künstlichen Intelligenz, lassen sich Komponenten trainieren. Sie werden „sehend“ und können hochpräzise Teile vermessen, Roboterarme führen oder Werkstücke im Fertigungsfluss identifizieren. Die Fähigkeit zur eigenständigen elektronischen Überwachung macht die industrielle Bildverarbeitung zur Automatisierungstechnik der Zukunft.
Ohne Sensordaten keine Bildverarbeitung
Typische Einsatzgebiete der industriellen Bildverarbeitung in Fertigung und Qualitätskontrolle sind:
- Identifizieren von Objekten
- Erkennen von Deformationen
- Prüfen von Oberflächen
- Bestimmen der Position
- Kontrolle der Vollständigkeit
- Prüfen von Formen und Maßen und das
- Lesen von Bar- und Datacodes.
Dazu müssen zunächst Sensordaten erhoben und verarbeitet werden. Sensoren in Industriekameras liefern Bilddaten oder dreidimensionale Daten. Abhängig von der Prüfaufgabe kommen verschiedene Kameras mit unterschiedlichen Objektiven zum Einsatz: Flächenkameras für die Aufnahme statischer Bilder oder Hochgeschwindigkeitskameras für bewegte Bilder im Fertigungsprozess. 3D-Kameras erfassen dreidimensionale Bauteile und sind besonders geeignet, wenn die komplette Geometrie der Prüfobjekte erfasst werden soll. Neben dem industriellen Einsatz sind 3D-Kameras beispielsweise für Betreiber von Getränkemärkten unverzichtbar: Im Pfandautomaten liefern sie Bilddaten darüber, ob und wie vollständig der eingestellte Kasten ist. Eine schnelle und centgenaue Pfandberechnung wäre sonst nicht möglich.
Klassifikation durch Neuronale Netze
Zu den Verarbeitungsschritten der Bilddaten gehören die Klassifikation, die Detektion und die Segmentierung: Die Klassifikation bildet die Grundlage für Bildverarbeitungsaufgaben und für die Schrift- und Spracherkennung. Ein Bildbereich oder ein Objekt wird auf Grund charakteristischer Eigenschaften einer vorab festgelegten Klasse zugeordnet. Mit Klassen sind entweder verschiedene Objekt-Typen gemeint – beispielsweise Buchstaben/Ziffern, Schrauben oder Tabletten – aber auch Qualitäten, also ob etwas „in Ordnung“ oder „nicht in Ordnung“ ist.
Hier kommt das Maschinelle Lernen zum Einsatz: Faltende Neuronale Netze (Convolutional Neural Networks (CNN)) – eine Sonderform Neuronaler Netze – eignen sich besonders gut für die Klassifizierung in der Muster- und Bilderkennung. Durch ihre Faltungen haben sie deutlich mehr Schichten, um Muster zu erkennen, als einfache Neuronale Netze. Die CNN werden mit vorbearbeiteten Datensätzen trainiert, die eine große Zahl von repräsentativen Eingabe-Mustern enthalten. Sie werden um die jeweils erwartete Ausgabe-Antwort erweitert. Nach dem Training erkennen CNN Muster in Datensätzen und ermitteln die optimalen Bildmerkmale automatisch. Aufgaben der optischen Sichtprüfung im Herstellungsprozess, die bisher manuell durchgeführt wurden, lassen sich mit CNN automatisiert und damit deutlich kostengünstiger realisieren.
Der „Griff in die Kiste“
Der Klassifikation geht oftmals die Detektion voraus, weil die zu bewertenden Objekte erst lokalisiert werden müssen, ehe sie eingeordnet werden können. Für Detektionsaufgaben werden Fertigungsroboter mit trainierten Neuronalen Netzen und einer 3D-Kamera als Sensor ausgestattet. Sie sind in der Lage, aus einem Behälter mit ungeordneten und häufig unregelmäßig geformten Einzelteilen das für den nächsten Fertigungsschritt relevante Teil auszuwählen und zu entnehmen.
Es kann danach, korrekt ausgerichtet, direkt weiterbearbeitet werden. Dieser sogenannte „Griff in die Kiste“ (Bin Picking) ist eine Kombination aus Robotik und intelligenter Bildverarbeitung. Für den Fertigungsablauf bedeutet das vor allem kurze Rüstzeiten und einen geringeren Platzbedarf, als bei der automatischen Teilezuführung. Das entlastet die Mitarbeiter*innen von körperlich schweren und monotonen Arbeiten.
Wenn es pixelgenau sein muss
Im Fertigungsprozess gibt es Prüfaufgaben, bei denen es nicht reicht, einzelne Bilder von Objekten zu klassifizieren oder ihre ungefähre Lage zu bestimmen. Defekte auf Oberflächen oder Objekten müssen pixelgenau bestimmt werden. In der Mess- und Automatisierungstechnik wird das als Segmentierung bezeichnet. Das Bild wird hier in relevante und nicht relevante Bereiche, die Segmente, unterteilt. Segmente können das/die Objekt(e)selbst und die Umgebung sein. Jedes Segment bildet einen zusammenhängenden Bereich mit einheitlichen Eigenschaften.
Anders als bei Klassifikation oder Detektion ist bei der Segmentierung jedes Bildpixel jeweils einem Segment zugeordnet. Durch entsprechend trainierte CNN können die Bildpixel der einzelnen Segmente mit denen der Beispielbilder abgeglichen werden. Für die Qualitätskontrolle ist die Segmentierung schon heute unverzichtbar: Defekte, Bruchstellen oder Verunreinigungen an den Produkten fallen bereits während der Fertigung auf, zusätzliche Kontrollschritte werden überflüssig.
Für Nutzer und Anbieter von industriellen Bildverarbeitungssystemen hat der VDI/VDE/VDMA- Fachausschuss „Bildverarbeitung in der Mess- und Automatisierungstechnik“ die Richtlinienreihe VDI/VDE/VDMA 2632 erarbeitet. Die einzelnen Blätter der Richtlinie beschreiben Grundlagen und definieren Begriffe, die für den Einsatz von Bildverarbeitungssystemen benötigt werden. Außerdem geben sie Hinweise, wie ein Lasten- und Pflichtenheft in der industriellen Bildverarbeitung erstellt wird und nennen Kenngrößen zur Klassifikationsleistung eines Bildverarbeitungssystems.
Der VDI-Statusreport „Maschinelles Lernen“ vom November 2019 wird von der VDI-Gesellschaft Mess- und Automatisierungstechnik, Fachbereich Optische Technologien herausgegeben.
Lesen Sie auch folgende weitere Fachartikel zu diesem Statusreport:
Am Statusreport haben neben haupt- und ehrenamtlichen Experten des VDI, Vertreter von Hochschulen, aus dem Karlsruher Institut für Technologie, dem Fraunhofer-Institut für Produktionstechnik und Automatisierung sowie Hersteller von industriellen Software- und Sensorlösungen mitgewirkt.
Autorin: Alice Quack
Redaktion: Thomas Kresser