Forschungsschwerpunkte

Die Vision der im Netzwerk MRK verbundenen Unternehmen und Forschungseinrichtungen besteht darin, durch FuE-basierte Technologieprojekte neue IT-Produkte und IT-Dienstleistungen im Bereich der Mensch Roboter Kollaboration zu entwickeln und damit den Menschen in seinem Arbeitsprozess inhaltlich und qualitativ durch den Ausbau seiner Fähigkeiten, der Vermittlung eines besseren Prozessverständnisses und Detailwissen, sowie einer kognitiven Entlastung zu unterstützen.. Im Sinne der Wirtschaftlichkeit werden Produktlösungen angestrebt, die

keine durchgehende Digitalisierung der kompletten Produktion voraussetzen,
schnelle Effizienzsteigerungen ermöglichen und
durchgehend lernfähig sind

Das beantragte ZIM-Innovationsnetzwerk „MRK“ sieht sich als interdisziplinäres Konsortium aus Mittelständischen Unternehmen und FuE-Einrichtungen, welches gemeinschaftlich die Entwicklung von technologischen Innovationen und Produkten vorantreibt, die an den Grenzen gegenwärtiger passiver und aktiver Mensch-Roboter-Assistenzsysteme ansetzt und diese erweitert. Über die gemeinsame Arbeit an Projekten hinaus besteht Interesse daran, eine längerfristige Kooperation bei Produktentwicklung und -vermarktung zu etablieren – unter der Voraussetzung einer gewinnbringenden Zusammenarbeit im Netzwerk als ersten Schritt.

Technologische Entwicklungslinien

Das Netzwerk organisiert seine Arbeiten in den folgenden technologischen Entwicklungslinien:

TEL-1 Weltmodell und Umgebungswahrnehmung

Ziel dieser TEL ist die Entwicklung von Innovationen zur Erzeugung von Dynamischen Weltmodellen für das Robotersystem.

Ein Weltmodell oder Digitaler Zwilling wird generell durch Sensoren des Roboters (optisch, Radar, etc.) erfasst und durch intelligente Algorithmen wie der semantischen Segmentierung erstellt. Im Rahmen des Netzwerks soll ein umfassendes Weltmodell entwickelt werden, welches zum einen die aktuellen Systemzustände der Betriebsmittel sowie Informationen über das Arbeitsumfeld und Produkt abstrahiert.

Die Wahrnehmung des Menschen erfolgt durch ähnliche Sensoren, ist aber viel komplexer, da schnellere Bewegungen und sich verändernde Oberflächen verfolgt werden müssen. Während bei der Maschine digitale Eingänge, Positionen und Bewegungen sowie die räumliche Lage von Objekten durch Sensoren erfasst werden können, ist es beim Menschen nicht möglich, diese Informationen einfach abzulesen. Daher wird der Mensch mit verschiedenen Sensoren beobachtet und die Intention des mittels einer Sensordatenfusion und KI-basierter Auswertung geschätzt. Neben positionellen und gestikulären Informationen sollen auch Körperhaltung, Mimik sowie das Stresslevel berücksichtigt werden.

Im Weltmodell sollen darüber hinaus Informationen über das Arbeitsumfeld, wie z.B. Arbeitsräume von Mensch und Roboter, sicherheitsrelevante (z.B. zulässige Geschwindigkeit und Kräfte) aber auch persönliche Parameter (persönlicher Mindestabstand, Bewegungsverhalten …) hinterlegt werden.

FuE-Aufgaben und Innovationsgehalt

SLAM – Self localisation und Mapping, Kartierung, Lokalisierung
Sensorfusion – Zusammenführen mehrerer Sensorbeobachtungen
Semantische Klassifizierung (Trennung und Erkennung von Einzelobjekten im Sensorbild)
Objektmodellierung (3D Erfassung zur Wiedererkennung, nicht-visuelle Objekteigenschaften wie Masse)
Erkennung von Menschen sowie deren Lokalisation im Arbeitsraum.
Vision-Systems zur Gestenerkennung des Nutzers
Methoden zur Aufmerksamkeits- Bewegungs- und Verhaltenserkennung des Nutzers
Methoden zur Vorhersage des Verhaltens des Nutzers sowie zur Anomalieerkennung
Kontextsensitive Reaktionen des Robotersystems

TEL-2 Mensch und Benutzungsschnittstelle

Ein hoher Grad an Autonomie eines Roboters erfordert auch eine intuitive Interaktion mit dem Menschen. Ziel dieser TEL ist die Entwicklung von Innovationen, die den Menschen über die Entscheidungen des autonomen Robotersystems informieren und eine Interaktion mit dem System erlauben. Der Mensch muss jederzeit die Kontrolle über das Gesamtsystem behalten und sich sicher fühlen. Komplexe räumlich verkettete Handhabungsabfolgen sind sehr schwierig zu visualisieren, z.B. um sie zu verstehen und Fehler zu suchen. Die räumliche Darstellung zusammen mit intuitiven Ansichten, z.B. durch Augmented oder Virtual Reality, erlauben erst die zugängliche Darstellung für Menschen ohne Erfahrung in der Robotik. Gepaart mit einer visuellen Aufbereitung und Interaktion mit den Ablaufmodellen können dann auch Facharbeiter Anwendungen mit (kollaborativen) Robotern selbst gestalten und bereitstellen. Menschen müssen den momentanen Status und die nächsten Bewegungen des Roboters verstehen, um darauf selbst entsprechend reagieren zu können. Manchmal sind diese Darstellungen zeitkritisch, z.B. wenn ein Roboter bald in den Bereich um den Menschen eindringen muss, um seine Aufgabe zu erfüllen.

FuE-Aufgaben und Innovationsgehalt

Sprachein– und Ausgabe als Schnittstelle des MRK-Systems zum Menschen
Haptische Ein- und Ausgabeschnittstellen des MRK-Systems zum Menschen
Augmented Reality Visualisierungen der Geräteeigenschaften, Status und Bewegungen in den nächsten Sekunden
Virtual Reality System zum Training der Menschlichen Nutzer oder zur Planung des RK-Einsatzes
Multimodale Kommunikationsmethoden, wie z.B. Mixed-Reality-Anwendungen
Aufmerksamkeitslenkung des Nutzers auf relevante Aspekte der Interaktion oder Zustände des Systems

TEL-3 Roboterkomponenten

Roboter sind komplexe Maschinen bestehend aus Hardwarekomponenten (Struktur, Kinematiken, Greifer, Rollen, …), Mikroelektronik (Steuerungsplatinen, Sensorik) und Software (Programmierung, Datenschschnittstellen, ..). Viele kollaborative Arbeitsschritte erfordern Feinfühligkeit und stellen die Automatisierung vor eine besondere Herausforderung. Zur Ausschöpfung dieses Potenzials müssen sich z.B. die Roboterarme stärker den Fähigkeiten einer menschlichen Hand annähern, ihnen fehlt oft Gefühl. Oft sind die zu bearbeitenden Materialien zum Beispiel weich, elastisch oder biegsam und setzen somit einen hochsensiblen Bearbeitungsprozess voraus. Wird hierbei nicht mit dem nötigen Fingerspitzengefühl gearbeitet, sind Beschädigungen am Werkstoff und damit teure Produktionsfehler programmiert. Ebenfalls eine Herausforderung an die Roboterkomponenten in der Automatisierung ist z.B. die Bearbeitung glänzender Oberflächen, etwa beim Polieren: Bildbearbeitungssysteme können dabei kaum eingesetzt werden. Das glänzende Material verwirrt die Wahrnehmung der Kameras und lässt sie an ihre Grenzen stoßen.

FuE-Aufgaben und Innovationsgehalt

Entwicklung von innovativen Roboterkomponenten oder Kombinationen von Roboterkomponenten (z.B. Kombination von Robotern mit Fahrerlosen Transportfahrzeugen)
Entwicklung von Mikroelektronik und eingebetteter Hard- und Software (Embedded Systems, Cyber Physical Systems), um komplexe Steuerungsaufgaben lokal durchführen zu können
Entwicklung von innovativen Greifern, Aktoren und Leichtbau von Robotern
Reduktion des Energieverbrauchs durch intelligentes Energiemanagement
Miniaturisierung von Roboterbauteilen

TEL-4 Adaptive Skills und Teaching

Basierend auf den Informationen des Weltmodells soll das MRK-System seine Aufgaben entsprechend anpassen können. Damit der Roboter autonom entscheiden kann, braucht er neben den Daten aus dem Weltmodell Informationen über den Produktionsprozess, das Produktionsprogramm sowie Qualitätsdaten. Des Weiteren muss das System die Fähigkeiten des Menschen und der eingesetzten Betriebsmittel kennen, um daraus eine gezielte und robuste Planung ableiten zu können. Komplexe Abläufe, wie Greifen, Stifte (o.ä.) in Löcher einführen, ein Objekt aus einer Kiste greifen, usw., werden durch ein hochfrequent aktualisiertes Weltmodell (s. TEL 1) ermöglicht. Diese funktionalen Module werden Skills genannt, die durch die Möglichkeit, relativ zu Positionsänderungen (etc.) in dem Weltmodell nach zu regeln, adaptiv gestaltet werden können. Da durch die Adaptivität nur noch semantisch parametrisiert werden muss (z.B. „Greife ein Objekt von Typ x aus Kiste y“), können schnell ohne präzise Ortsangaben und Vorrichtungen komplexe Abläufe vorgegeben werden. Teaching wäre eine weitere Möglichkeit, auch vor Ort schnell neue Skills zu generieren. Nach mehrmaliger Eingabe der gewünschten Bewegungsabfolge relativ zu sich ändernden Objektpositionen könnte z.B. die Bewegungsabfolge auf weitere Objektpositionen übertragen (generalisiert) werden.

FuE-Aufgaben und Innovationsgehalt

Es wird ein Beschreibungsmodell benötigt, welches auf Basis von KI-Algorithmen den effizientesten oder wahrscheinlichsten Ziel-Systemzustand ermittelt und entsprechend agiert. Basis dafür sind Petrinetze, welche um Wahrscheinlichkeiten zu einem teilweise beobachtbaren Markov- Entscheidungsprozess (POMDP) erweitert werden können.
Es müssen adaptive Skills sowie Ablaufmodelle entwickelt werden, die durch einfache Nutzerschnittstellen ohne Erfahrung in der Robotik einsetzbar sind.
Es müssen Teachingmethoden entwickelt werden, die parallel zur reinen Bewegungsvorgabe auch als Datenquelle für maschinelles Lernen (z.B. Inverse Reinforcement Learning, Learning from Demonstration) genutzt werden können

TEL-5 Sicherheit (Safety und Security)

Damit das Robotersystem unter Einhaltung der Anforderungen von Arbeitsschutz und Arbeitssicherheit mit Menschen kooperieren kann, ohne diesen zu gefährden, muss ein besonderer Fokus auf Sicherheit gelegt werden. Dabei sind sowohl Aspekte der Safety, also Produktsicherheit (Verlässlichkeit, Robustheit, …) als auch Aspekte der Security, also Angriffssicherheit (gegen Hacken oder unbefugte Manipulationen) zu entwickeln. Durch die wandlungsfähige Struktur und die neuen Fähigkeiten müssen Automatisierungssysteme in der Fertigung, Montage und Demontage validiert werden. Damit die System in der Produktion eingesetzt werden können, sind Sicherheitsnachweise für den kollaborativen Betrieb (gemäß ISO TS 15066) zu führen.

FuE-Aufgaben und Innovationsgehalt

Entwicklung von Methoden und Verfahren für den Nachweis der Sicherheit (Safety) und korrekten Funktion für MRK-Systeme und alle Ihre Komponenten gemäß der anzuwendenden Normen.
Entwicklung von Fehlermodellen für MRK-Systeme, um Zuverlässigkeit, Ausfälle und Fehlerraten und deren Ursachen modellieren und vorhersagen zu können
Entwicklung von Maßnahmen, um die Security für MRK-Systeme zu erhöhen und Angriffe zu erkennen
Entwicklung angepasster Steuerungsarchitekturen für autonome Robotersysteme, sowie Prozessmodule zur Durchführung der Aufgaben
Entwicklung von Sicherheitsfunktionen nach der IST TS 15066 entwickelt werden, die es ermöglichen eine MRK-Station in einem agilen Umfeld (Manufaktur) zu betreiben.

TEL-6 Industrie 4.0 und Konnektivität

MRK-Systeme agieren in der Produktion nicht im luftlehren Raum, sondern sind in Produktionsprozesse eingebunden und mit ihrer Umgebung vernetzt. In dieser TEL werden alle technischen Innovationen adressiert, die die Einbindung des MRK-Systems in eine zunehmen nach den Grundsätzen von Industrie 4.0 gestaltet sein wird und alles miteinander vernetzt sein wird. Die technischen Entwicklungen sollen durch die Nutzung des Referenzarchitekturmodells Industrie 4.0 (RAMI4.0) kompatible für Zukünftige Industrie 4.0 Umgebungen sein. Ein weitere Teil dieser TEL besteht in der Entwicklung von Verfahren und Lösungen, um die Daten eines MRK-Systems einer Big Data Analyse oder einem Data- oder Process-Mining zugänglich zu machen und die daraus gewonnen Erkenntnisse wieder an das MRK-System zurück zuspielen, um dessen Performance optimieren zu können (z.T. auch in TEL 1)

FuE-Aufgaben und Innovationsgehalt

Aufbauend auf OPC-UA und RAMI soll eine Referenzarchitektur der Asset Adminstration Shell (AAS) implementiert werden, die es erlaubt, neben dem Maschinentyp und –status auch Statusänderungen und aufrufbare Funktionen einheitlich darzustellen.
Es muss eine Erweiterung der RAMI-Architektur entwickelt und implementiert werden, um generische räumliche Mensch-Maschine Schnittstellen modellieren, beschreiben und erzeugen zu können, z.B. die Position der Maschine im Raum.
Es muss eine Erweiterung der RAMI-Architektur entwickelt und implementiert werden, um den Menschen in zukünftige Industrie 4.0 Modell gemäß RAMI einbeziehen zu können.
Es sollen Event-basierte Echtzeitsteuerungen nach IEC 61499 entwickelt werden, um sog. Mixed-Criticality (echtzeitkritische und reguläre Prozesse auf dem gleichen Gerät) und Modellierung von dynamischen Ressourcen (z.B. Anzahl und/oder Ort der eingesetzten Roboter) abbilden zu können.
Es sollen entwickelt und umgesetzt werden, um.
Es sollen Verfahren des Data- und Process Minings sowie standardisierte Schnittstellen zu Industrie 4.0 Systemen entwickelt werden, die es erlauben, die Daten von MRK-Systemen einer Process Intelligence zugänglich zu machen. DSGVO-Aspekte sind hier zu berücksichtigen, insofern müssen Daten pseudonymisiert oder anonymisiert werden, um Rückschlüsse auf den Menschen zu verhindern.