Unsere Gesellschaft unterliegt einem ständigen Wandel. Stellen Sie sich eine Stadt vor: Fußgänger, Radfahrer, Autos, Busse und vieles mehr – und alle bewegen sich unvorhersehbar und ununterbrochen. Damit autonome mobile Roboter (AMR) in dieser Umgebung erfolgreich navigieren können, müssen sie ihre Umgebung intelligent wahrnehmen und interpretieren. In diesem Artikel erfahren Sie, wie Sie mithilfe von RTAB-Karten und ToF-Sensoren eine autonome Navigation von Robotern realisieren.
Einleitung
Die Erkundung ist ein entscheidender Aspekt der autonomen Navigation von Robotern. SLAM (Simultaneous Localization and Mapping) bezeichnet eine grundlegende Technik, mit deren Hilfe Roboter in unbekannten Umgebungen navigieren und diese kartieren können. VSLAM (Visual Simultaneous Localization and Mapping), auch als Visual SLAM bezeichnet, ist ein spezielles SLAM, mit dem Roboter ihre Umgebung in Echtzeit anhand der visuellen Eingabedaten von Kameras kartieren und ihre Position schätzen können (Odometrie). Diese Technik wurde vielfach in unterschiedlichsten Anwendungen – Mars-Rover, Mars-Helikopter, Bodenroboter, Unterwasserroboter, Staubsaugerroboter usw. – eingesetzt. Es wurden Untersuchungen durchgeführt, um zu ermitteln, wie gut die ToF(Time-of-Flight)-Kamera mit RTAB-Map für die autonome Navigation autonomer mobiler Roboter (AMR) arbeitet, wenn nur Tiefenbilder zum Einsatz kommen. Die ToF-Kamera erfasst sowohl Infrarot- (IR) als auch Tiefenbilder. Das Tiefenbild wird genutzt, um eine 3D-Punktwolke zu erstellen. Die 3D-Punktwolke und die Radodometrie werden von RTAB-Map verwendet, um korrigierte Odometriedaten und ein 2D-Belegungsraster für die autonome Navigation von AMR auszugeben.
Was ist eine ToF-Kamera?
Die ToF-Kamera ist eine Tiefenkamera von Analog Devices, die auf dem ADSD3100 TOF-Signalprozessor basiert. Sie unterstützt die Datenverarbeitung auf der eingebetteten Prozessorplattform sowie eine USB-, Ethernet- oder WLAN-Verbindung zu einem Hostcomputer. Die ToF-Kamera ist für den Einsatz in Industrie-, Automobil- und Verbraucheranwendungen konzipiert. Sie berechnet die Entfernung zu Objekten im Umfeld mit einem ToF-Verfahren, das die Erstellung präziser Tiefenkarten ermöglicht. Die ToF-Kamera liefert Infrarot- (IR) und Tiefenbilder und ist in Abbildung 1 dargestellt.
Architektur von RTAB-Map
Real-Time Appearance-Based Mapping (RTAB-Map) ist eine grafisch ausgerichtete SLAM-Technik. RTAB-Map nutzt eine auf dem Erscheinungsbild basierende Loop-Closure-Erkennung sowie eine spezielle Speicherverwaltung, um große und langfristige Onlinemappings zu schaffen. Die Odometrie, also Position und Ausrichtung des AMR, liefert externe Eingabedaten für RTAB-Map. Deshalb kann Odometrie jeden Typs genutzt werden, die für eine gegebene Anwendung geeignet ist, einschließlich Radodometrie, visueller Odometrie und ICP-Odometrie. Mit RTAB-Map können vier Eingangskonfigurationen verwendet werden:
- RGB-Bild, Tiefenbild und Odometrie
- Stereobilder und Odometrie
- 3D-Punktwolke und Odometrie
- 2D-Laserscan und Odometrie
Abbildung 2 zeigt die verschiedenen Blöcke von RTAB-Map. In unserem Anwendungsfall kommen 3D-Punktwolke und Odometrie als Eingabedaten für RTAB-Map zum Einsatz. Zudem sind zwei Eingabetransformationen erforderlich: „odom in base_link“ und „base_link in camera_link“. RTAB-Map gibt eine Karte für odometrische Transformation, 2D-Belegungsraster und korrigierte Odometrie aus. Der RTAB-Map-Knoten besteht aus folgenden Blöcken: Synchronisierung, Kurzzeitgedächtnis (STM), Langzeitgedächtnis (LTM), Loop Closure und Näherungserkennung, Diagrammoptimierung und Global Map Assembling.
Workflow von RTAB-Map- und Nav2-Stack-Pipeline mit ToF-Kamera
Die gesamte Pipeline für die autonome Navigation von AMR mit rtabmap, ToF-Kamera und IMU-gestützter Radodometrie ist in Abbildung 3 dargestellt. Die IMU-gestützte Radodometrie wird durch Zusammenführen der Daten des Radencoders und der IMU-Daten mit Hilfe eines erweiterten Kalman-Filters für eine robuste Odometrie erreicht. Es gibt also sieben Knoten: ToF-Kameraknoten, image_proc-Knoten, Punktwolkenknoten, rtabmap-Knoten, Knoten der IMU-gestützten Radodometrie, Nav2-Knoten und Rviz-Knoten. Der nächste Absatz beschreibt die Funktion dieser Knoten.
Der erste Knoten in der Pipeline ist der ToF-Kameraknoten, der IR- und Tiefenbilder erfasst. Die erfassten Bilder werden dann vom image_proc-Knoten entzerrt, um die tangentialen und radialen Verzerrungen zu beseitigen. Zur Visualisierung in Rviz werden entzerrte IR-Bilder verwendet. Der Punktwolkenknoten generiert 3D-Punktwolken aus entzerrten Tiefenbildern. Der Knoten für IMU-gestützte Radodometrie schätzt die Odometrie des AMR unter Verwendung der Daten von Radencodern und von IMU-Daten. Der Knoten rtabmap verwendet die IMU-gestützte Radodometrie und die generierte Punktwolke, um ein 2D-Belegungsraster sowie die korrigierte Odometrie (Position und Ausrichtung) zu erstellen. Ein Nav2-Knoten verwendet das generierte Belegungsraster und die Odometrie, um eine Aufwandskarte (costmap) zu erstellen, die dann für die Planung der Pfade und für die autonome Navigation des AMR verwendet wird. Schließlich wird der Knoten Rviz als Visualisierungstool verwendet, um IR-Bild, Odometrie und Belegungsraster darzustellen. Zudem ermöglicht der Knoten des Festlegen von Zielposition und -ausrichtung des AMR. Die Pipeline kombiniert also verschiedene Sensoren und Knoten, um eine autonome Navigation des AMR zu ermöglichen.
Erörterung der Versuchsergebnisse
Abbildung 3 zeigt den AMR, das von der auf dem AMR montierten RealSense-Kamera erfasste Bild und die resultierende 3D-Punktwolkenkarte als Netz. Abbildung 4 zeigt die erstellte Karte mit gegebenem Ziel, geplantem Pfad und AMR, der das Ziel sicher erreicht, indem er dem geplanten Pfad folgt.
Außerdem stellt die Punktwolke, die aus dem entzerrten Tiefenbild der ToF-Kamera erstellt wurde, flache Oberflächen in der realen Welt als gekrümmte Oberflächen dar. Dieses Problem muss mittels Nachbearbeitung behoben werden. Abbildung 6 zeigt das Belegungsraster vor und nach der Punktwolkenfilterung. Die blauen Linien in diesem Fenster bezeichnen die geschätzte Odometrie des AMR.
Abbildung 7 illustriert die verschiedenen Phasen des Prozesses der autonomen Navigation. Die erste Abbildung links zeigt die generierte Karte mit der aktuellen Position und Ausrichtung des AMR. Die Karte wird vom rtabmap-Knoten unter Verwendung der IMU-gestützten Radodometrie und der Punktwolke generiert. Die zweite Abbildung in der Mitte gibt die Zielposition und den geplanten Pfad an. Sobald die Zielposition in Rviz festgelegt wurde, plant der Nav2-Knoten unter Verwendung der Aufwandskarte, die aus Belegungsraster und Odometrieposition und -ausrichtung generiert wird, einen Pfad. Der geplante Pfad wird in Rviz angezeigt. Die dritte Abbildung auf der rechten Seite zeigt schließlich, dass der AMR das Ziel erreicht hat. Sobald der Pfad geplant wurde, nutzt der AMR die korrigierte Odometrieposition und -ausrichtung und die Aufwandskarte, um zur Zielposition zu navigieren. Der AMR aktualisiert seine Position kontinuierlich mithilfe der IMU-gestützten Radodometrie und des Belegungsrasters und passt seine Bewegungsbahn an, um dem geplanten Pfad zu folgen. An der Zielposition stoppt der AMR. Der Navigationsprozess ist abgeschlossen.
Fazit
Die ToF-Kamera wurde in RTAB-Map und in den Nav2-Stack integriert, damit der AMR in einer Laborumgebung autonom navigieren kann. Beim Einsatz der ToF-Kamera mit RTAB-Map für die autonome Navigation von AMR ergaben sich verschiedene Herausforderungen. Die vom ToF bereitgestellten IR- und Tiefenbilder müssen entzerrt werden, weil nicht entzerrte Tiefenbilder zu Ungenauigkeiten der Karte führen. Wir haben festgestellt, dass flache Objekte in der Punktwolke gekrümmt dargestellt wurden. Dies konnte mittels Nachbearbeitung der Punktwolke behoben werden. Die Punktwolke muss gefiltert werden, bevor sie an RTAB-Map übergeben wird. Parallel dazu erstellte der AMR die Karte und ermittelte seine Position auf der Karte für sichere Navigation mithilfe des Tiefenbilds der ToF-Kamera und des RTAB-Map-Algorithmus. Wir konnten eine erfolgreiche autonome Navigation des AMR mit ToF-Kamera und RTAB-Map zeigen. Wir gehen davon aus, dass die Ergebnisse unserer Experimente den Einsatz von ToF in verschiedenen kommerziellen Robotersystemen beschleunigen werden.