Virtual Remote Assistance – Echtzeit-Streaming von Panorama- und 3D-Videos in die VR

Inhalt:
Das Streamen von 360Grad-Videos ist aufgrund des hohen Maßes an Immersion, dass es dem Benutzer bietet, interessant für eine Vielzahl von Anwendungen, bspw. wenn es um das Erstellen einer fundierte Ferndiagnose geht. Im Beitrag wird diesbezüglich der industrielle Kontext dargestellt. Medizinische und weitere Anwendungsfelder sind ebenso denkbar. Die im Beitrag vorgestellte Lösung verbindet eine 360Grad-Kamera über einen Server mit einer VR-Brille. Dabei handelt es sich um Consumer-Hardware, mit den damit verbundenen Herausforderungen an Performanz und Stabilität. Die Umsetzung besteht aus einer leichtgewichtigen Implementierung, die durch einen hohen Grad an Parallelisierung direkt auf der Kamera ein effizientes Verarbeiten der Frames ermöglicht. Der Ansatz unterscheidet sich von verfügbaren Lösungen aus dem Bereich on-demand Videostreaming, die in der Regel Serverfarmen mit großen Rechenleistungen nutzen. Um ein performantes Streaming sicherzustellen, wurde die Verarbeitung der Bild-Rohdaten von der Kamera auf die VR-Brille verlagert. Die VR-Brille führt neben der Synthese der Bilddaten auch die Projektion von Fischaugenbilder auf äquirektanguläres Layout durch. Die entsprechende Logik wurde als Fragment-Shader implementiert. Neben der limitierten Verarbeitungskapazität besteht eine weitere Herausforderung in der Optimierung der Übertragung. Die Lösung soll auch mit geringeren Übertragungsbandbreiten zufriedenstellende Ergebnisse liefern. Ziel war es, die Menge der pro Frame zu sendenden Daten zu minimieren. Da der Benutzer zu einem gegebenen Zeitpunkt nicht das volle 360Grad-Panorama, sondern nur einen kleineren Teil sieht, wird prinzipiell ein großer Teil der Bandbreite für Daten verbraucht, die nicht relevant sind. Sie liegen nicht im Blickfeld des Benutzes („Field of View“, FoV). Im Beitrag wird ein Region-of-Interest-basiertes (ROI-basiertes) Streaming genutzt, um die Übertragung nicht relevanter Teile zu minimieren. Der Bereich des Videos, den der Benutzer sehen kann, wird dazu mit einer höheren Bildübertragungsrate (Framerate) gestreamt. Um dies zu bewerkstelligen, wird die Telemetrie der VR Brille an die Kamera übertragen. Der Zuschnitt der Rohdaten erfolgt parallelisiert auf der Kamera. Das System erreicht in der dargestellten Konfiguration zirka 30 Frames pro Sekunde (fps) für 2k Videos, unter Verwendung eines Internet Servers, der die Daten der Kamera für die VR-Brille bereitstellt. Sowohl bei der Übertragung als auch der Verarbeitung auf der VR-Brille existiert weiteres Optimierungspotential, das Gegenstand künftiger Arbeiten sein wird.