Von Jeremy Cook
Die kurze Antwort auf die Frage „Wie sehen Roboter?“ lautet „maschinelles Sehen“ oder „industrielle Bildverarbeitungssysteme“. Die Details sind sehr viel komplexer. In diesem Artikel behandeln wir physische Roboter, die praktische Aufgaben ausführen. Softwareanwendungen, die zum Filtern visueller Materialien im Internet verwendet werden, sind nicht Gegenstand dieses Artikels.
Systeme für das maschinelle Sehen erfassen Bilder mit einer digitalen Kamera (oder mehreren Kameras), die diese Daten Frame für Frame verarbeiten. Der Roboter verwendet diese interpretierten Daten, um über einen robotischen Arm, ein mobiles Agrarsystem, ein automatisiertes Sicherheitssystem oder auf andere Weise mit der physischen Welt zu interagieren.
Das maschinelle Sehen gewann gegen Ende des 20. Jahrhunderts an Bedeutung. Mittels verschiedener hartkodierter Kriterien wurden einfache Fakten zu den erfassten visuellen Daten ermittelt. Zu diesen einfachen Anwendungen gehört die Texterkennung. Die Prüfung auf das Vorhandensein von Komponente X oder die Größe von Loch Y in einer Industriemontage-Anwendung sind weitere solche Anwendungen. In den letzten Jahren wurden Anwendungen für das maschinelle Sehen durch die Integration von KI und maschinellem Lernen erheblich erweitert.
Bedeutung des maschinellen Sehens
Auch wenn nach wie vor Systeme für das maschinelle Sehen verwendet werden, die auf spezifischen Kriterien basieren, können diese Systeme dank der KI-basierten Verarbeitung heute sehr viel mehr leisten. In diesem Paradigma werden Robotervisionssysteme nicht mehr ausdrücklich für die Erkennung bestimmter Bedingungen programmiert, z. B. ob sich Pixelgruppen („Blobs“) an der richtigen Position befinden. Robotervisionssysteme werden statt dessen anhand eines Datensatzes mit schlechten und guten Teilen, Bedingungen oder Szenarien trainiert, um eigene Regeln zu generieren. So können sie Aufgaben ausführen wie das Öffnen von Türen für Menschen, aber nicht für Tiere, die Bewässerung von Pflanzen, die zu trocken aussehen, oder die Bewegung autonomer Fahrzeuge, wenn die Ampel grün zeigt.
KI-Modelle können cloudbasiert trainiert werden. Wenn es um Echtzeitentscheidungen geht, wird in der Regel jedoch die Edge-Verarbeitung bevorzugt. Die lokale Verarbeitung von Robotervisionsaufgaben kann die Latenz reduzieren und bedeutet, dass Sie bei kritischen Aufgaben nicht von der Cloud-Infrastruktur abhängig sind. Autonome Fahrzeuge sind ein hervorragendes Beispiel dafür, warum dies wichtig ist, da eine Verzögerung beim maschinellen Sehen von nur einer halben Sekunde zu einem Unfall führen kann. Außerdem möchte niemand gezwungen sein, das Fahrzeug anzuhalten, wenn keine Netzwerkressourcen verfügbar sind.
Innovative Technologien für die Robotervision: Multi-Kamera, 3D, KI-Techniken
Eine einzelne Kamera ermöglicht zwar die Erfassung von 2D-Informationen – zwei Kameras, die zusammenarbeiten, ermöglichen jedoch die Tiefenwahrnehmung. Beispielsweise können NXP i.MX 8-Prozessoren mit zwei Kameras mit einer Auflösung von bis zu 1080p Stereoeingaben unterstützen. Mit der richtigen Hardware können mehrere Kameras und Kamerasysteme mittels Video-Stitching und anderer Techniken integriert werden. Es können weitere Sensorarten wie LIDAR-, IMU- und Sound-Sensoren integriert werden, um die Umgebung eines Roboters im 3D-Raum usw. abzubilden.
Die gleiche Technologie, die Robotern die Interpretation erfasster Bilder ermöglicht, unterstützt auch die Generierung neuer Bilder und 3D-Modelle durch Computer. Eine Anwendung, die durch diese beiden Seiten der Robotervision möglich wird, ist die erweiterte Realität. Hier werden die visuelle Kamera und andere Eingaben interpretiert. Die Ergebnisse werden anschließend angezeigt, um von Menschen genutzt zu werden.
Erste Schritte mit dem maschinellen Sehen
Es gibt mittlerweile zahlreiche Optionen für den Einstieg beim maschinellen Sehen. Auf der Softwareseite bildet OpenCV einen hervorragenden Ausgangspunkt. Die Anwendung ist kostenlos verfügbar und mit regelbasiertem maschinellen Sehen und neueren Deep-Learning-Modellen kompatibel. Sie können mit Ihrem Computer und einer Webcam beginnen. Spezialisierte Systeme für industrielle Bildverarbeitungssysteme wie das Jetson Nano Developer Kit oder die Google Coral-Produkte sind gut für Visionssysteme und maschinelles Lernen geeignet. Die NVIDIA® Jetson Orin™ NX 16 GB bietet 100 TOPS an KI-Leistung im vertrauten Jetson-Format.
Unternehmen wie NVIDIA bieten ein breites Spektrum von Softwareressourcen an, einschließlich Trainingsdatensätzen. Wenn Sie die Implementierung einer KI-Anwendung planen, die benötigten Bilder von Menschen, Autos oder anderen Objekten jedoch eher nicht beschaffen möchten, kann Ihnen dies einen massiven Vorsprung verschaffen. Achten Sie auf Datensätze, mit denen Sie die Anwendung weiter verbessern können. Dabei können innovative KI-Techniken wie Aufmerksamkeits- und Visions-Transformatoren die Verwendung dieser Datensätze verbessern.
Algorithmen für die Robotervision
Roboter sehen durch die konstante Interpretation eines Stroms von Bildern. Sie verarbeiten diese Daten mittels manuell kodierter Algorithmen oder KI-generierter Regelsätze. Wenn wir das Thema auf philosophischer Ebene betrachten, könnten wir die Frage auch in die andere Richtung stellen: „Wie sehen Roboter sich selbst?“ Angesichts unserer Fähigkeit, den Code zu untersuchen, könnte diese Frage trotz der Komplexität von KI-Modellen einfacher zu beantworten sein als die Frage, wie wir uns selbst sehen!
Links zu verwandten Produkten
Ähnliches Produkt:
MCIMX8M-EVK NXP Semiconductors Evaluation Kit
NXP Semiconductors Eingebettete Systementwicklungsboards und -kits AnzeigenÄhnliches Produkt:
Ähnliches Produkt:
945-13450-0000-100 | Jetson Nano Developer Kit
NVIDIA Eingebettete Systementwicklungsboards und -kits Anzeigen