Einplatinencomputer (SBCs) haben sich in den letzten beiden Jahrzehnten grundlegend verändert. Was dereinst ein simpler 8-bit-Zentralprozessor mit begrenztem Arbeitsspeicher war, hat sich mittlerweile in eine datenverschlingende Quad-Core-Maschine verwandelt, die kaum größer als eine Packung Kaugummis ist. Wie können SBCs von der steigenden Popularität des Edge-Computing profitieren? In diesem Artikel untersuchen wir die Frage, warum KI aus den Datenzentren vertrieben wird, und wie SBCs für Künstliche Intelligenz (KI) aufgerüstet werden.
Die Pros und Contras von KI
Aufgrund der vielen Vorteile, die sie mit sich bringt, wächst der Gebrauch von KI unablässig. Mit Hilfe dieser modernen Lösung lassen sich anpassbare Produkte für Kunden entwickeln, und sie ist gleichzeitig in der Lage, das Produkt für alle Kunden zu verbessern.
Zum Beispiel ist die beliebte Plattform Google Assistant in der Lage, zu lernen und ihre Antworten an bestimmte Individuen anzupassen, und auf dieser Basis maßgeschneiderte Antworten an ganze Gruppen von Individuen zu formulieren. Dies wiederum führt zu einer besseren Erfahrung für alle Kunden.
Ein Produkt mit KI auszustatten kann sich einigermaßen schwierig gestalten. Die gängigste Methode zur KI-Implementierung ist cloudbasierte KI. Dieser Ansatz kann eine Herausforderung sein, da die Haupt-KI-Algorithmen von cloudbasierten KI-Systemen in Datenzentren laufen. Die Notwendigkeit, Informationen von Kundengeräten an Datenzentren schicken und empfangen zu lassen, funktioniert zwar, stellt robuste KI-System-Integrationen allerdings vor einige Probleme.
Datenschutzrechtliche Bedenken sind ein grundlegendes Thema im Bereich der KI. Sensible Informationen werden an einen unbekannten Ort geschickt, der potenziell unbefugten Individuen zugänglich ist. Untersuchen wir Amazon's Alexa-Produkte, die bei Kunden sehr beliebt sind. Amazons Alexa hat eine KI-Funktion, die es Benutzern erlaubt, Fragen zu stellen und eine Antwort zu erhalten. Wenn man genau darüber nachdenkt, ist Alexa wie eine Art Telefon, da die Fragen der Benutzer an ein Datenzentrum geschickt werden, wo sie von einer KI bearbeitet werden, anstatt vor Ort im Gerät selbst bearbeitet zu werden. Die datenschutzrechtlichen Bedenken basieren auf der Angst, dass Alexa ohne das Wissen oder die Übereinstimmung des Kunden Gespräche aufnehmen und speichern könnte, woraufhin diese einer großen Anzahl Amazon-Mitarbeiter mit Zugang zu den KI-Daten oder -Systemen zugänglich wären.
Das nächste Thema ist die Latenzzeit. Produkte, die mit einem entfernten Datenzentrum arbeiten, müssen die Daten zuerst verschicken, warten, bis sie bearbeitet werden, und dann erst erhalten sie die Ergebnisse. Da keine Internetverbindung augenblicklich ist, kommt es zu kleinen Verzögerungen, und diese Latenzzeiten können verkehrsabhängig sein. Und je mehr Internetbenutzer es gibt, desto länger ist die Systemlatenzzeit. Dies könnte dazu führen, dass Produkte nicht reagieren.
Ein weiteres die Latenzzeit betreffendes Thema ist das Internet an und für sich. Ein Gerät, das immer angeschaltet ist und von einem entfernten Datenzentrum abhängt, benötigt eine durchgängige Internetverbindung. Es passiert nicht selten, dass Anbieter von Websites oder DNS-Server in kleine Schwierigkeiten geraten, infolgedessen Websites nicht verfügbar sind. Sollte dieser Fall eintreten, wird jegliches Produkt, das sich auf ein Datenzentrum verlässt, nicht vollkommen zuverlässig sein. Orte mit unzuverlässigen oder begrenzten Datenverbindungen eignen sich nicht für internetabhängige Geräte.
Hier kommt Edge-Computing ins Spiel
Edge-Computing ist ein Konzept, das das beste aus beiden Welten in sich vereint. Es ist eine Lösung, die datenschutzrechtliche Bedenken anspricht, Internetabhängigkeit mindert und geräteeigene KI-Algorithmen bereitstellt, die nicht von einem Datenzentrum abhängig sind. Kurz gesagt, Edge-Computing verarbeitet Daten vor Ort, am Rand des Netzwerks, wobei der Rand sich auf das Endgerät selbst bezieht, dem keine weiteren Internetgeräte unterstellt sind. Dieser Ansatz löst viele Probleme und Bedenken, die typischerweise mit cloudbasierten KI-Systemen einhergehen.
Edge-Computing verlagert die KI-Ausführung vom Datenzentrum zum Gerät. Obwohl Machine Learning selten vor Ort ausgeführt wird (da diese Aufgabe sehr komplex und teuer ist), können die neuronalen Netzwerke, die auf Basis des Machine Learning-Prozesses entwickelt wurden, vor Ort ausgeführt werden. Aufgaben, die lediglich neuronale Netzwerke benötigen, sind zum Beispiel Handschrift-, Gesten- und Objekterkennung.
Ein weiteres Problem, das von Edge-Computing gelöst wird, ist die Latenzzeit. Alle neuronalen Netzwerke werden bearbeitet, sobald Daten verfügbar werden, was die dafür benötigte Zeit drastisch verringern kann. Anstatt warten zu müssen, bis sich das Gerät mit dem Internet verbindet, die Daten verschickt, das Datenzentrum die Daten verarbeitet und dann das Ergebnis zum Gerät zurückschickt, führt Edge-Computing den gesamten Prozess vor Ort durch, was die Internetabhängigkeit und somit auch die Latenzzeiten verringert. Der Gebrauch von Edge-Computing führt auch dazu, dass potenziell vertrauliche Informationen vor Ort auf dem Gerät bleiben, und nicht von Datenzentren zur Informationsbearbeitung benutzt und eventuell zum späteren Lerngebrauch gespeichert werden.
So toll Edge-Computing auch klingt, es hat einen großen Nachteil: Neuronale KI-Netzwerke sind mitunter extrem komplex und schwierig zu betreiben! Während Mikrocontroller wie etwa der Arduino dazu benutzt werden können, neuronale Netzwerke zu betreiben, wäre die Geschwindigkeit, mit der sie die Netze praktisch betreiben würden, extrem langsam — so langsam sogar, dass ein cloudbasiertes KI-System im Vergleich dazu fast verzögerungsfrei anmuten würde.
Zum Glück für alle Designer haben mehrere siliziumbasierte Unternehmen damit begonnen, KI-Co-Prozessoren herzustellen, die dazu dienen, Algorithmen für neuronale Netzwerke und KI effizient zu betreiben. Da es sich dabei um Co-Prozessoren handelt, heißt das, dass der Hauptprozessor ist nunmehr frei ist, sich um andere Aufgaben zu kümmern.
Also, welche Optionen bestehen für Einplatinencomputer hinsichtlich Edge-Computing?
Lösung 1: Die Google Coral-Palette
Die Google Coral-Produktpalette ist dank ihrer Verwendung des TensorFlow-Co-Prozessors ideal für Edge-Computing. Dieser Co-Prozessor ist speziell für mobile und eingebettete Anwendungen konzipiert. Er erlaubt die Ausführung von TensorFlow Lite KI-Algorithmen. TensorFlow Lite ist eine „zurechtgestutzte“ Version des TensorFlow und bietet einen mehr als akzeptablen Kompromiss zur Ausführung von KI auf kleinen Geräten.
Der Dev Board ist ein Arm A-53 Quad-Core-SBC inklusive TensorFlow-Co-Prozessor sowie integriertem GC7000 Lite Graphics Zentralprozessor, 1 GB LPDDR4 RAM, 8 GB eMMC Flash-Speicher und einem WLAN-SoC zum Internetzugang. Mit HDMI-Ausgängen, USB-Eingängen und GPIO stellt der Board eine exzellente Lösung für Edge-Computing in KI-Umgebungen dar, inklusive Objekt- und Spracherkennung, insbesondere in Umgebungen mit begrenztem Internetzugang.
In einigen Situationen ist es nicht möglich, die grundlegende Hardware auszuwechseln. In solchen Fällen ist es einfacher, einen Co-Prozessor als Add-On hinzuzufügen; hier kommt der USB-Programmzeitverkürzer ins Spiel. Der Coral USB-Programmzeitverkürzer ist ein USB-Slave-Gerät, der alle angeschlossenen Computer mit einem TensorFlow-Co-Prozessor ausstattet—ohne dass die Platine neu gestaltet werden muss. Der Vorteil dieser beiden Coral-Produkte ist ihre einfache Skalierung, da die Dev-Board-Prozessoreinheit aus der Mutterplatine entfernt und in ein Endprodukt eingesetzt werden kann, während der USB-Programmzeitverkürzer über Befestigungslöcher verfügt und einen ungemein kleinen Fußabdruck hat (65 × 30 mm).
Lösung 2: Der Nvidia Jetson Nano
KI-Szenarien, bei denen mehrere neuronale Netzwerke parallel zueinander laufen müssen, bei möglichst geringem Energieverbrauch, können ungemein vom Nvidia Jetson Nano profitieren. Dieser Einplatinencomputer kann gleichzeitig neuronale Netzwerke für Anwendungen wie Objekterkennung und Sprachverarbeitung betreiben und verbraucht dabei lediglich 5 W.
Dieser Arm A57-basierte SBC hat 4 GB LPDDR4 RAM, microSD-Kartenspeicher, 4K-Videokodierung, 4k-Videodekodierung bei 60 fps, mehrere USB 3.0-Anschlüsse, GPIO sowie andere Peripherie-Anschlüsse. Der KI-Kern des Nvidia Jetson Nano bringt bis zu 472 GFLOPS, während die Jetson-Produkte sowohl als Entwicklungskits und Module verfügbar sind (Entwicklungskits werden in den Entwicklungsstadien verwendet, wohingegen die Module zur Endanwendung in Produkten dienen).
Die geringen Abmessungen des Entwicklungskits (100 × 80 × 29 mm) machen es ideal für unauffällige Umgebungen, während der niedrige Energieverbrauch des Nvidia Jetson Nano ihn gleichfalls für entfernte Umgebungen prädestinieren, in welchen KI-Leistungen erforderlich sind, aber Internet und Strom fehlen.
Lösung 3: Der Intel Compute Stick
Der Intel Compute Stick ist wohl einer der kleinsten derzeit verfügbaren SBCs. Sein größter Vorteil? Er kann jedes beliebige HDMI-Display in einen Computer verwandeln.
Was seine Ausmaße betrifft, so ist der Intel Compute Stick kaum größer als eine Packung Kaugummi (nicht länger als 11,5 cm), doch in seinem Inneren sind entweder ein Intel Atom oder ein Intel Core M-Prozessor, mit bis zu 4 GB RAM und 64 GB Speicher.
Trotz seiner geringen Größe verfügt der Intel Compute Stick ebenfalls über mehrere Formen von Konnektivität, inklusive WLAN, Bluetooth sowie drei USB-Anschlüsse. Auch wenn der Intel Compute Stick über keinen KI-Co-Prozessor verfügt, macht ihn sein leistungsstarker Kern zu einem potenziellen Kandidaten für Edge-Computing, mit dem KI-Anwendungen auf jedem HDMI-Display ausgeführt werden könnten. Das macht den Intel Compute Stick ideal für interaktive Terminals und Heimgeräte, die an engen Orten installiert werden müssen.
Lösung 4: Der Raspberry Pi 4
Der neueste Raspberry Pi -Computer, der Raspberry Pi 4, ist aus mehreren Gründen ein potenzieller Kandidat für Edge-Computing-Anwendungen. Zum Einen basiert der Kern des Raspberry 4 auf einem Quad-Core A72 ARMv8-A, der bis zu 1,5 GHz aufbringt—und damit deutlich schneller ist als all seine Vorgänger. Zweitens verfügt der Raspberry Pi 4 über 4 GB RAM, und seine breite Auswahl an Konnektivitätsoptionen beinhaltet WLAN, Bluetooth und GPIO, wodurch er in der Lage ist, mit vielerlei Hardware zu interagieren. Der Broadcom Video Core VI erlaubt es dem Pi, mehrere Bildschirme mit bis zu 4K zu kontrollieren, und dank seiner relativ geringen Größe (88 × 58 mm) lässt er sich an engen Orten installieren.
Obwohl all diese Eigenschaften den Raspberry Pi 4 zu einem potenziellen Edge-Computing-Kandidaten machen, verfügt er über keinen KI-Co-Prozessor, daher müssen alle KI-Algorithmen über den ZP laufen. Der Raspberry Pi 4 kann mit dem Coral USB-Programmzeitverkürzer verbunden werden, um den Raspberry Pi 4 mit einem TensorFlow-Co-Prozessor auszustatten. Das Ergebnis dieses Zusammenschlusses könnte eine äußerst leistungsfähige Plattform zur Entwicklung von KI-Anwendungen mit Dual-Screen-Tauglichkeit, Kameraanschluss zur Objekterkennung, sowie GPIO zur Hardwareanbindung sein.
Ähnliches Produkt:
RASPBERRYPI4 4GB | 4 Model B
Raspberry Pi Foundation Eingebettete Systementwicklungsboards und -kits AnzeigenAusblick
Auch wenn nicht alle SBCs mit einem KI-Prozessor ausgestattet sind, kann es ungemein vorteilhaft sein, einen in Ihr Design einfließen zu lassen (insbesondere für eingebettete Systeme). Selbst SBCs, die über keinen KI-Co-Prozessor verfügen, können sich immer noch auf einen externen Prozessor stützen, wie etwa den Coral USB-Programmzeitbeschleuniger. So oder so wird KI in eingebetteten Geräten innerhalb des nächsten Jahrzehnts gang und gäbe sein, und selbst die einfachsten Geräte werden über ein Mindestmaß an Intelligenz verfügen.
