Das kameragestützte Selbstlernende Assistenzsystem für Maschinenbedienende überwacht den Produkttransport mittels künstlicher Intelligenz und verringert Ausfallzeiten. (Bild: Fraunhofer IVV)
Verpackungsvorgänge in der Lebensmittel- und Pharmaindustrie sind geprägt von Transportaufgaben. Nicht immer ist dabei eine starre Führung der Produkte möglich oder sinnvoll. So bieten Roboter zum Verpacken eine sehr hohe Flexibilität, neigen jedoch im Vergleich zu einer starr verbundenen Förderkette eher dazu, Produkte zu verlieren. Ist kein Bedienpersonal in der Nähe, kann es dazu kommen, dass derartige Fehler verspätet oder schlimmstenfalls gar nicht auffallen und eine langwierige Störungsbeseitigung inklusive Reinigung erforderlich wird.
Auch schwer einsehbare Transportstrecken, wie unter der Decke montierte Transportbänder oder Speicher, sind neuralgisch für unbemerkte Störungen. Vereinzelt kommen hier bereits herkömmliche Überwachungskameras zum Einsatz. Eine Leitwarte muss dann eine Vielzahl von Videokanälen überwachen und im Falle von Prozessstörungen einen Techniker verständigen. Diese Vorgehensweise ist jedoch hinsichtlich der Schnelligkeit der Fehlerdetektion sowie der Zeitspanne bis zu dessen Behebung nicht optimal und kann zu erheblichen Prozessstörungen oder großen Ausschussmengen führen.
Menschliche Erfahrung, künstliche Intelligenz
An diesen Stellen greift eine Erweiterung des am Fraunhofer IVV in Dresden entwickelten Selbstlernenden Assistenzsystems für Maschinenbedienende (SAM). Die Software kombiniert menschliches Erfahrungswissen mit Künstlicher Intelligenz, um Prozessstörungen effektiv und nachhaltig zu reduzieren. Durch die Ergänzung um eine Komponente zur optischen Überwachung von Bewegungsvorgängen ist es möglich, bei Abweichungen von der Soll-Bewegungsbahn Meldungen zu erzeugen, die das Personal an der Maschine entsprechend warnen, auch wenn es keinen direkten Einblick in alle Bereiche des Prozesses hat. Mit Hinweisen zu Störungsursachen und -beseitigung wird der Bedienende dabei unterstützt, eine nachhaltige Lösung für das Problem zu finden. Durch den Einsatz von einfacher Kamera- und Rechentechnik ist die Implementierung des Systems mit geringen Investitionen möglich. Das Nachrüsten bestehender Anlagen lässt sich ohne großen Aufwand realisieren, da Datenschnittstellen zu Maschinen oder vorhandener IT-Infrastruktur entfallen.
Im ersten Schritt ist für das Gesamtsystem die genaue Lokalisierung der gewünschten Objekte erforderlich. Das kann, je nach Prozess, das Produkt oder auch ein Arbeitsorgan der Maschine sein. Zur Detektion wird dabei auf Deep Learning, einer Technologie aus dem Bereich der Künstlichen Intelligenz, zurückgegriffen. Nachdem zuerst einfache Bilder oder Videosegmente aus der Produktion erfasst werden, folgt der Aufbau eines Trainingsdatensatzes. Dabei werden die Bilder der zu überwachenden Maschine oder Transportstrecke durch sogenannte „Bounding Boxes“, also Kästen, die das gesuchte Objekt einrahmen, manuell annotiert. Mit praktischen Softwaretools bleibt der Aufwand dabei trotz manueller Arbeit sehr gering.
Mit diesen Bildern und Daten zur Lokalisierung wird dann ein künstliches neuronales Netz angelernt. Optimierungsziel beim Anlernen ist dabei eine möglichst große Übereinstimmung der manuell erstellten Bounding Boxes mit der Ausgabe des Modells. Dabei ist sowohl die richtige Klassifikation des Objekts als auch die Überschneidung der detektierten Bounding Box mit der manuell vorgegebenen relevant für die Zielmetrik. Die Genauigkeit der Objektdetektion ist dabei maßgeblich für die Leistung des Gesamtsystems. Die Untersuchungen am Fraunhofer IVV haben gezeigt, dass je nach Komplexität dieser Aufgabe eine Genauigkeit (mean Average Precision) von über 80 % möglich ist. Durch den Einsatz aktueller Detektionsmodelle wie Mobilenet v2 oder Mobiledet steigt die Genauigkeit deutlich und lässt sich voraussichtlich mit zukünftigen Modellen noch weiter steigern.
Vor allem durch den Einsatz spezieller Computerchips, sogenannter Edge-TPUs, ist die Inferenz der Modelle direkt an der Maschine mit geringem Ressourceneinsatz möglich. Bei Versuchen auf einem handelsüblichen Einplatinencomputer mit angeschlossener Edge-TPU war eine Objektdetektion in Echtzeit mit
24 Bildern pro Sekunde möglich, was die Verarbeitung von Videos flüssig und in Echtzeit ermöglicht. Im Gegensatz zu herkömmlicher industrieller Bildauswertung sind bei der Detektion von Objekten kleinste Details weniger relevant. Auf eine spezielle, beispielsweise schattenfreie, Beleuchtung kann genauso verzichtet werden wie auf preisintensive Industriekameras.
Trajektorienauswertung integriert Prozesswissen
Wird die Position der Objekte über mehrere Videobilder beziehungsweise Einzelframes verfolgt, entsteht eine Bewegungsbahn beziehungsweise Trajektorie des beobachteten Objekts. Diese Trajektorie lässt sich wahlweise als beliebige Zeitreihe interpretieren oder mit Prozess-Know-how verknüpfen. Typische Bibliotheken bieten hier eine Fülle von Möglichkeiten zur Auswertung von Zeitreihen, sind jedoch nicht an den spezifischen Prozess angepasst. Erst durch eine geeignete Auswahl der Merkmale, die eine Trajektorie passend für das Modell zur Trajektorienbewertung beschreiben, lässt sich die Genauigkeit hier weiter steigern. So sind bei passender Kombination von Merkmalen aus Position und Geschwindigkeit der Objekte mit einem entsprechenden Algorithmus zum Modellaufbau Genauigkeiten bei der Trajektorienbewertung von über 90 % möglich. Im Vergleich verschiedener Modelltypen zeigten sich dabei vor allem Verfahren, deren Ausgaben auf geometrische Distanzen zwischen den zu vergleichenden Trajektorien basieren, als sehr effektiv. Das entspricht der Erwartung und zeigt eine gute Abbildung des Prozesses auch innerhalb der Modelle zur Trajektorienbewertung.
Der Aufbau von Modellen zur Klassifikation der Trajektorien ist auch online mit einem Rechner vor Ort möglich. Der Rechenaufwand konnte, trotz Einsatz von Maschinellem Lernen, sehr gering gehalten werden. Der Benutzer hat so die Möglichkeit, historische Trajektorien zu klassifizieren und das Modell direkt im Anschluss neu aufbauen zu lassen. Treten ähnliche Bewegungen erneut auf, wird durch das aktualisierte Modell eine passende Meldung angezeigt. Je nach Anwendungsfall kann sich hier eine einfache Warnmeldung ergeben, ein ausgiebiger Hinweis zur Beseitigung des Fehlers oder theoretisch auch Signale an weitere Systeme.
Aufbau als Gesamtsystem
Die Teilmodule zur Objektdetektion und zur Berechnung und Klassifikation der Trajektorien wurden im Gesamtsystem um ein Modul zur Datenarchivierung und ein weiteres Modul als Benutzerschnittstelle ergänzt. Diese Schnittstelle baut auf Webtechnologien auf und ist dadurch mit fast allen Endgeräten zu verwenden. Ein Einsatz mit einem Tablet ist ebenso möglich wie die Anzeige auf einem klassischen Computer.
Durch den modularen Aufbau als Microservice-Framework können die einzelnen Komponenten auch getrennt betrieben werden. Eine Aufteilung auf dezentrale, kleine Systeme zur Datenerfassung und einem zentralen System zur Archivierung und Sichtung der Daten ist ohne Probleme möglich und bietet eine flexible Nutzung der Technologie. Schnittstellen zu bereits vorhandenen Systemen lassen sich als weitere Services mit geringem Aufwand integrieren. Aktuell ist das System in der Standardkonfiguration bei einem Pilotpartner beim Abpacken von Pharmazeutika im Einsatz.
Das System Optic-SAM erweitert die Möglichkeiten zur Störungserkennung deutlich, im Gegensatz zu sensordatenbasierten Ansätzen. Dadurch, dass die Komponente zur optischen Überwachung direkt an ein Assistenzsystem für Maschinenbediener als zentrale Plattform angeschlossen ist, wird nicht in den Produktionsprozess eingegriffen, sondern der Maschinenbediener lösungsorientiert beim Erledigen seiner Arbeit unterstützt. Durch das Verringern unbemerkter Fehler und daraus resultierender Ausfallzeiten und Schadensfälle sowie durch das schnelle und direkte Involvieren der Bediener und deren Wissensaufbau trägt das System zur erheblichen Steigerung sowohl der Prozesseffizienz als auch der Mitarbeiterzufriedenheit bei.
Weitere Informationen zu Selbstlernenden Assistenzsystemen und zur aufgabengerechten Gestaltung von HMI sind auf der Homepage des Fraunhofer IVV zu finden unter
