S1-2 DDPG-Regelung von Bewegungsunterstützungssystemen für zyklische Aufgaben in der Produktion

Abstract:
Bewegungsunterstützungssysteme (BUS) können Menschen bei Aufgaben in der mensch-gestützte Automation entlasten. Ihre Regelung ist wegen der Mensch-BUS-Interaktion notwendigerweise adaptiv. Ziel der Regelung ist es, richtig zu unterstützen. Die Unterstützung durch das BUS ist das Ergebnis zweier Teilaufgaben: einerseits der menschlichen Bewegung zu folgen und andererseits diese zu korrigieren. Der Beitrag stellt ein solches Regelungskonzept mithilfe des Deep Deterministic Policy Gradient (DDPG) des Reinforcement Learnings vor. Die Umwelt des DDPG-Agenten ist das System aus Mensch und BUS, was im Beispiel dieses Beitrags als gekoppeltes Einfachpendel modelliert wird. Entscheidend für die gewünschte Interaktion aus Agent und Umwelt ist der passende Entwurf der Rewardfunktion. Das Konzept wird anhand einer simulativen Studie illustriert. Die Ergebnisse zeigen, dass es für einfache Schwingungen in der Lage ist, das gewünschte Verhalten zu erzeugen. Insbesondere der Wechsel von Korrigieren zu Folgen und wieder zu Korrigieren wird qualitativ gezeigt. Durchschnittliche Rewards und Restfehler können durch die Parameterierung der Rewardfunktion an entsprechende Anwendungen angepasst werden.