Selbstlernender Air-Hockey-Roboter – Reinforcement Learning in der Praxis

Inhalt:
Dieser Beitrag beschreibt die praktische Umsetzung von Reinforcement Learning (RL) an einem Air-Hockey-Roboter. RL ist ein Teilgebiet des Maschinellen Lernens (ML) und zeichnet sich durch die Fähigkeit aus, auch ohne Kenntnis der Umwelt mit dieser interagieren zu können und von dieser zu lernen. Die Herausforderung besteht in diesem Projekt in der Implementierung der Algorithmen auf einem Mikrocontroller des Typs Arduino Mega 2560. Der Beitrag erläutert deshalb auch eine Problemreduktion. Da die Dauer des Online-Lernens oftmals sehr lang ist, soll ein Offline-Lernen mit Hilfe einer Simulation die Lerndauer während des Betriebs verkürzen. Die erwähnte Simulation des Roboters berücksichtigt dabei das Hardware-In-the-Loop (HIL) Konzept, indem die RL-Algorithmen auch in der Simulation auf dem Arduino ausgeführt werden. Im folgenden Abschnitt wird kurz auf den Projektstand und den Aufbau des Roboters eingegangen. Daran schließt sich eine kurze Beschreibung der verwendeten Bildverarbeitungsbibliothek OpenCV mit den durchgeführten Bildverarbeitungsschritten an. Der eigentliche Lernalgorithmus wird im Abschnitt 5 behandelt. Nach einer kurzen Einführung in dieses Thema wird auf die Probleme im Praxisprojekt eingegangen und es werden verschiedene Lösungsansätze vorgeschlagen.