Schneller Einstieg in die KI-Entwicklung durch eine Zusammenarbeit von Lattice Semiconductor und NVIDIA

Das ständige Wettrüsten um die Entwicklung der leistungsfähigsten KI-Modelle kann faszinierend sein und verleitet dazu, sich zurückzulehnen und abzuwarten, bis das „richtige“ Modell den Sieg davonträgt, bevor man entscheidet, was man damit bauen will. Das wäre ein Fehler für Produktdesigner, die die Gelegenheit nutzen sollten, Modellvorhersagen in etwas Brauchbares, Vertrauenswürdiges und Praktisches zu verwandeln.

Eine Zusammenarbeit zwischen Lattice Semiconductor und NVIDIA signalisiert einen Wandel im Produktdesign für das KI-Zeitalter. Durch die Standardisierung von Sensor-zu-KI-Pipelines mit einem Referenzdesign für Sensor-Brückenkarten wird die Hürde für den Aufbau von Systemen, die nahezu in Echtzeit wahrnehmen, interpretieren und reagieren, gesenkt. Anwendungen können nun modularer zusammengestellt werden, was die Entwicklung beschleunigt und intelligentere, reaktionsschnellere Produkte ermöglicht.

Je näher die Intelligenz an den Ort der Datengenerierung (in Englisch „Edge“ und in Deutsch „Netzwerkrand“ genannt) heranrückt, desto mehr verlagert sich der Schwerpunkt von der Entwicklung besserer Modelle auf die Frage, wie sich diese Modelle verhalten sollen, wenn sie in reale Systeme eingebettet sind. Was das System bemerkt, priorisiert oder ignoriert, sind wichtige Designparameter, die bestimmen, ob ein „KI-Produkt“ als zuverlässig, vorhersehbar und nützlich angesehen wird.

Entwickler können das Referenzdesign mit dem LF-SNR-ETH-EVN von Lattice Semiconductor (Abbildung 1) implementieren, einer CertusPro-NX-Sensor-zu-Ethernet-Brückenkarte, die heterogene Sensorsignale in standardisierte Ethernet-Streams mit niedriger Latenz umwandelt, die von nachgelagerten Edge-KI-Systemen genutzt werden können.

Abbildung 1: Das Board LF-SNSR-ETH-EVN von Lattice Semiconductor nimmt Eingaben von heterogenen Sensoren auf und wandelt sie in schnelle, strukturierte Datenströme um, die von NVIDIA-Edge-Modulen verarbeitet werden. (Bildquelle: Lattice Semiconductor)

Die stromsparende FGPA-basierte Hardware-Plattform sitzt am Netzwerkrand und wandelt verschiedene Low-Level-Sensorsignale in schnelle, strukturierte Datenströme um, die über Ethernet in Echtzeit verarbeitet werden können. Sie nimmt Sensor-Rohdaten auf, normalisiert und paketiert diese Daten und streamt sie für eine Verarbeitung mit niedriger Latenz und hohem Durchsatz mit leistungsstarken Grafikprozessoren (GPUs).

Das Lattice-Board lässt sich mit der Sensor-Brückenkarte NVIDIA Holoscan und Edge-Computer-Modulen zu einem vollständigen Stack für Echtzeit-Sensor-KI-Systeme integrieren. Diese Zusammenarbeit macht es einfacher, neue Sensoren zu integrieren und Daten effizient in KI-Pipelines auf Edge-KI-Plattformen wie NVIDIAs IGX Orin und AGX Orin zu übertragen.

Bei diesem Ansatz übernimmt die Cloud eine unterstützende Rolle, die sich auf das Trainieren von Modellen, die Aggregation von Daten über verschiedene Einsatzorte hinweg sowie die Verwaltung von Updates und die langfristige Systemoptimierung konzentriert, während sich die Edge-Module auf die Wahrnehmung, Interpretation und Reaktion in Echtzeit konzentrieren können.

Erstellen von Sensor-zu-KI-Designs

Entwickler können sich auf den schnellen Aufbau von Sensor-zu-KI-Systemen konzentrieren und den Datenfluss von physischen Eingaben in den NVIDIA Inferenz-Stack optimieren. Anstatt sich auf simulierte Eingaben oder abstrakte Annahmen über das Verhalten eines Systems zu verlassen, können sie anhand von Sensordaten, die live durch eine funktionierende Pipeline fließen, Erfahrungen prototypisieren.

Ein Entwickler kann beispielsweise mit einer realen Sensoreinrichtung beginnen, wie einem Industriesensor oder einer Kamera, deren Daten über die CertusPro-NX-Bridge zur Übertragung über Ethernet an eine Holoscan-basierte Anwendung gestreamt werden, die auf Edge-Hardware zur Echtzeit-KI-Inferenzverarbeitung läuft. Traditionell würde das Hinzufügen eines neuen Sensors einen beträchtlichen technischen Aufwand nach sich ziehen, z. B. das Schreiben von benutzerdefinierten Treibern, die Integration auf Kernel-Ebene und die Entwicklung von maßgeschneiderten Datenpipelines, nur um das Signal in eine brauchbare Form zu bringen. Holoscan reduziert den Aufwand mit einer standardisierten API und Transportschicht für die kontinuierliche Verarbeitung von Sensordaten am Netzwerkrand.

Sensordaten werden einheitlicher als Teil eines Echtzeit-Datenstroms behandelt, wodurch es einfacher wird, neue Quellen in eine bestehende KI-Pipeline zu integrieren, ohne die gesamte Anwendungsarchitektur zu überarbeiten.

Übersetzungsschicht

Das Lattice-FPGA-basierte Board fungiert als programmierbare Übersetzungsschicht zwischen der physikalischen Welt und dem Rest des Systems, so dass nicht jedes Mal, wenn ein neuer Sensor eingeführt wird, die Hardware neu entwickelt werden muss. Es umfasst vorkonfigurierte FPGA-Bausteine für die Verarbeitung und Anpassung von Sensordaten sowie einen kompletten Software-Stack für die Erfassung, Übertragung und Verarbeitung dieser Daten auf Edge-KI-Hardware von NVIDIA.

Mit diesem Ansatz wird die Sensorintegration von einer Hardware-Beschränkung zu einer konfigurierbaren Designentscheidung, was die Flexibilität des Systems bei sich ändernden Produktanforderungen deutlich erhöht. Entwicklungsteams können während des Entwicklungsprozesses nahtlos neue Sensoren integrieren oder zusätzliche Eingänge hinzufügen, ohne dass eine umfangreiche Überarbeitung der gesamten Architektur erforderlich ist.

Die Möglichkeit, das Produktverhalten zu ändern, bevor die Produktionssysteme voll einsatzfähig sind, reduziert den Aufwand für die kundenspezifische Integration und ermöglicht iterative Verbesserungen bei der Systemerkennung, den Aktionsauslösern und der Handhabung von Unsicherheiten.

Fazit

Produktentwickler können es sich nicht leisten, darauf zu warten, dass sich die KI-„Modellkriege“ beruhigen. Die Zeit ist reif für die Entwicklung von KI-gesteuerten Anwendungen, die Echtzeit-Eingaben aus der realen Welt erkennen, entscheiden und umsetzen können. Die Zusammenarbeit zwischen Lattice Semiconductor und NVIDIA bietet Entwicklern Pipelines mit extrem niedriger Latenz, die neue Kategorien von KI-Anwendungen in mehr Bereichen ermöglichen.