Ergebnisse

SLEM – selbstlernende und selbsterklärende Maschine – ist ein Prototyp eines Assistenzsystems, welches mithilfe von künstlicher Intelligenz (KI) von erfahrenen Nutzern lernt und dieses Wissen an unerfahrene Nutzer weitergibt. Das Assistenzsystem lässt sich in drei Hauptkomponenten unterteilen. Zunächst muss die Maschine erkennen, welche Aktionen der Nutzer an der Maschine im Moment durchführt. Diese Komponente setzte das Fraunhofer IPA um. Dafür werden aus Videokameradaten anonymisierte Skelettposen extrahiert und über die Zeit aggregierte Posendaten mithilfe von Machine Learning (ML) Verfahren in Aktivitäten klassifiziert. Die Klassifikationen sind spezifisch für den Anwendungsfall und beinhalten Klassen wie z.B. „Bedienung des Displays“ oder „Einlegen von Bauteil“. Allein die menschliche Aktivität reicht jedoch nicht aus, um ein umfassendes Verständnis zu erhalten. Dazu entwickelte Knowtion die zweite Komponente des SLEM-Systems, um Aktivitäten bzw. den Zustand der Maschine auf Basis der Sensordaten auszuwerten. Um die Fülle an Maschinendaten zu verarbeiten, werden diese geclustert und dadurch auf die wesentlichen Merkmale reduziert.

Die Informationen dieser beiden Komponenten – also die Maschinenzustände und die menschlichen Aktivitäten – werden in der dritten Komponente fusioniert, welche von SABO Mobile IT entwickelt wurde. Mithilfe eines rekurrenten neuronalen Netzes werden relevante Prozessschritte extrahiert und die Datenstränge zusammengeführt. Dadurch ist SLEM in der Lage, neue Prozessabfolgen zu lernen, bspw. bei der Beobachtung eines Experten bei der Maschinenbedienung. Damit SLEM mit den üblichen Aktivitäten der Menschen und Maschinen umgehen kann, ist ein einmaliges Training von SLEM auf annotierten Daten der Maschinenszene notwendig. Nachdem ein neuer Prozess von SLEM eingelernt wurde, kann eine textbasierte Anleitung des Prozesses, untergliedert in einzelne Schritte und Aktivitäten, mit einem Transformer-Modell generiert werden. Weiterhin kann während der Ausführung der Maschinenbedienung KI-gestützt geprüft werden, ob der richtige Prozess tatsächlich durchgeführt wird. Dafür werden die aus den Kameras und den Sensoren in der Maschine extrahierten Aktivitätsdaten mit den Sollaktivitäten abgeglichen.

In SLEM können nun weitere Anwendungsfälle aus der Industrie integriert werden. Gleichzeitig soll die Komplexität der Datenfusion erhöht werden und so mehr Features auswertbar machen.  Die Auswertung der menschlichen Aktivitätserkennung soll um mehr Kontextinformationen erweitert werden. Parallel dazu sollen zusätzliche Features aus den Maschinendaten ausgewertet werden. Zudem soll die Art und Weise der Rückmeldung an den Nutzer über fehlerhafte Prozessschritte ausgebaut werden.

Bericht herunterladen