Sensorfusion zur Verbesserung von Industrie-4.0-Produktionsprozessen und Logistik

Bei der Sensorfusion werden Daten von mehreren Sensoren kombiniert, um ein detaillierteres und differenzierteres Verständnis des Systembetriebs oder der Umgebung zu erhalten. In vielen Fällen kann die Schwäche einer Sensortechnologie durch das Hinzufügen (Fusionierung) von Informationen einer zweiten Sensortechnologie überwunden werden. Durch den Einsatz von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) kann die Leistungsfähigkeit der Sensorfusion gesteigert werden.

Bei der Umsetzung der Sensorfusion gibt es mehrere Herausforderungen zu bewältigen. So kann es beispielsweise schwierig sein, eine ausgewogene Lösung zu entwickeln ohne eine der Technologien gegenüber den anderen zu „bevorzugen“. Das kann zu mangelnder Skalierbarkeit und Leistungseinbußen führen. Eine Möglichkeit, diese Herausforderung zu meistern, ist die Integration mehrerer Sensortechnologien in ein einziges Gehäuse. Die Sensorfusion ist nicht auf die Verwendung mehrerer einzelner Sensoren beschränkt.

Unabhängig vom Grad der Sensorintegration kann das Hinzufügen von KI oder ML die Leistung verbessern, aber das Training kann komplex und zeitaufwändig sein. Stattdessen kann auf selbstlernende Sensoren mit eingebetteten KI- und ML-Funktionen zurückgegriffen werden.

In diesem Artikel wird zunächst eine Implementierung der Sensorfusion mit diskreten Sensoren, einer 32-Bit-MCU und ML-Software vorgestellt. Anschließend werden eine Reihe integrierter Sensorfusionslösungen und Anwendungsbeispiele in Logistikeinrichtungen, Rechenzentren, Prozessautomatisierung, Materialtransport und landwirtschaftlichen Geräten vorgestellt.

Abschließend wird eine integrierte Umwelt-Sensor-Fusionslösung mit integrierter KI-Software vorgestellt. Während der Diskussion werden beispielhafte Komponenten von Renesas Electronics, Sensirion, TE Connectivity, ACEINNA, Bosch Sensortec und TDK InvenSense vorgestellt.

Die Möglichkeiten der Sensorfusion kann mit Hilfe eines Referenzdesigns von Renesas untersucht werden. Das Board basiert auf einer 32-Bit-MCU mit einem 120-MHz-Arm®-Cortex®-M4-Kern, bis zu 2MB-Code-Flash-Speicher und 640KB-SRAM sowie zahlreichen Schnittstellen- und Netzwerkoptionen.

Das zugehörige Evaluierungskit ist für Multisensor- und Sensorfusionsdesigns optimiert. Es umfasst einen Luftqualitätssensor, einen Lichtsensor, einen Temperatur- und Luftfeuchtigkeitssensor, eine 6-achsige Trägheitsmesseinheit (IMU), ein Mikrofon und Vernetzung über Bluetooth Low Energy (BLE) (Abbildung 1). Das Referenzdesign umfasst auch eine automatisierte ML-Plattform für Edge-Geräte und Sensorfusionsanwendungen.

Abbildung 1: Evaluierungs- und Entwicklungsboard für die IoT-Sensorfusion mit automatisierter ML-Entwicklungssoftware und BLE-Vernetzung. (Bildquelle: Renesas Electronics)

Stabilisierende Neigungssensoren

Neigungssensoren sind spezielle Trägheitsmesseinheiten, die in verschiedenen Anwendungen eingesetzt werden, z. B. in landwirtschaftlichen Maschinen, Geländewagen, beim Materialtransport und in schweren Baumaschinen. Sicherheitsnormen erfordern manchmal Neigungssensoren, um sichere Betriebsumgebungen zu gewährleisten. Neigungssensoren können aus mehreren diskreten Komponenten zusammengesetzt werden, was kompliziert sein kann.

Das Herzstück der meisten Neigungssensoren ist ein Gyroskopsensor (Gyro), der die Winkelgeschwindigkeit oder die Drehgeschwindigkeit um eine Achse misst. Das ist großartig, wenn die Plattform in Bewegung ist, aber wenn sie sich nicht mehr bewegt, z. B. in einem Winkel von 20 Grad geneigt ist, geht der Sensorausgang auf Null. Darüber hinaus kann ein Gyro im Laufe der Zeit eine erhebliche Drift aufweisen, wobei sich die Fehler akkumulieren und schließlich zu einer nicht mehr genauen oder nützlichen Messung führen.

Um die Einschränkungen von Gyros zu überwinden, fügen dynamische Neigungssensorlösungen einen Beschleunigungsmesser zur Messung der Bewegung hinzu. So kann das System feststellen, wann es sich nicht mehr bewegt, und die letzte Ausgabe des Kreisels zur Schätzung des Neigungswinkels verwenden. Ein letztes Puzzleteil ist ein Temperatursensor, der die Auswirkungen von Temperaturschwankungen auf den Kreisel und den Beschleunigungsmesser ausgleicht.

Kalman-Filter werden häufig für die Sensorfusion bei Neigungssensoren verwendet. Ein Standard-Kalman-Filter auf der Grundlage einer linearen quadratischen Schätzung kann verwendet werden, wenn die Sensoren in einem linearen Leistungsbereich betrieben werden. Kalman-Filter können selbst bei Systemen wie Neigungssensoren mit inhärenter Unsicherheit und Akkumulationsfehlern relativ genaue Zustandsschätzungen liefern.

Neigungssensoren, die in einem nichtlinearen Bereich arbeiten, können von einem erweiterten Kalman-Filter profitieren, der die Schätzungen anhand des aktuellen Mittelwerts und der Kovarianz linearisiert.

Neigungssensoren wie der AXISENSE-G-700 von TE Connectivity und der MTLT305D von ACEINNA verfügen über eine Bewegungserfassung mit sechs Freiheitsgraden (6 DoF), drei vom Kreisel und drei vom Beschleunigungsmesser, und verwenden Kalman-Filtertechniken zur Sensorfusion (Abbildung 2).

Abbildung 2: Der Neigungssensor AXISENSE-G-700 fusioniert Daten von Beschleunigungs-, Rotations- und Temperatursensoren, um genaue Neigungsinformationen in dynamischen Umgebungen zu liefern. (Bildquelle: TE Connectivity)

Verschmelzung von Neun-in-Eins

Während 6 Freiheitsgrade in vielen Fällen ausreichen, können einige Anwendungen zur Bewegungsverfolgung wie Drohnen, Fahrzeuge und Virtual-Reality-Geräte von den zusätzlichen Informationen profitieren, die durch die Verwendung von 9 Freiheitsgraden bereitgestellt werden.

Das Modul OPENIMU300RI von ACEINNA ist für den Einsatz in 12V- und 24V-Kfz, -Bau- und -Landwirtschaftsfahrzeugen konzipiert. Neben einem Gyro und einem Beschleunigungsmesser verfügt diese IMU über ein anisotropes magnetoresistives (AMR) Magnetometer mit 3 Freiheitsgraden.

Ein ARM-Prozessor sammelt die Sensordaten und implementiert OpenIMU, einen Open-Source-Stack für die Trägheitsmesseinheit, GPS (Global Positioning System) und INS (Inertial Navigation System, Trägheitsnavigationssystem). Der Stack enthält einen anpassbaren Kalman-Filter für die Sensorfusion.

TDK InvenSense bietet ebenfalls eine 9-achsige Bewegungsverfolgung an. Das Modell ICM-20948 hat einen Betriebstemperaturbereich von -40°C bis 85°C und eignet sich damit für verschiedene Anwendungen in anspruchsvollen Umgebungen, wie z.B. in der industriellen Automatisierung und in autonomen Systemen. Es umfasst einen MEMS-basierten Drei-Achsen-Kreisel, einen MEMS-basierten Drei-Achsen-Beschleunigungsmesser und einen MEMS-basierten Drei-Achsen-Magnetometer/Kompass.

Zusätzlich zu den Bewegungssensoren mit 9 Freiheitsgraden verfügt der ICM-20948 über unabhängige Analog/Digital-Wandler (ADCs) für jeden Sensor, Signalaufbereitungsschaltungen und einen digitalen Bewegungsprozessor (DMP) (Abbildung 3).

Abbildung 3: Diese integrierte Sensorplattform unterstützt 9 Freiheitsgrade unter Verwendung eines Drei-Achsen-Gyros und eines Drei-Achsen-Beschleunigungsmessers (linke Seite) sowie eines Drei-Achsen-Magnetometers/Kompasses (unten rechts). (Bildquelle: TDK InvenSense)

Einige Details des ICM-20948 sind:

Drei unabhängige MEMS-Vibrationsgyros. Wenn die Gyros um eine der drei Achsen gedreht werden, verursacht der Coriolis-Effekt eine Vibration, die von einem kapazitiven Aufnehmer erfasst wird. Der Ausgang des Abnehmers wird verarbeitet, um eine Spannung zu erzeugen, die proportional zur Winkelgeschwindigkeit ist.

Der 3-Achsen-MEMS-Beschleunigungsmesser hat separate Massen für jede Achse. Die Beschleunigung entlang einer Achse verschiebt die entsprechende Masse, die von einem kapazitiven Aufnehmer erfasst wird. Wenn der ICM-20948 auf eine ebene Fläche gestellt wird, misst er 0g auf der X- und Y-Achse und +1g auf der Z-Achse.

Das Magnetometer basiert auf der Hall-Sensor-Technologie. Es erfasst den Erdmagnetismus in der X-, Y- und Z-Achse. Das Sensorausgangssignals wird mit einer Sensortreiberschaltung, einem Verstärker, einem 16-Bit-ADC und einer arithmetischen Schaltung zur Verarbeitung des resultierenden Signals erzeugt. Jede Achse hat einen Skalenendwertbereich von ±4900 µT.

Der DMP im ICM-20948 ist ein Differenzierer. Zu seinen Merkmalen und Vorteilen gehören:

• Die Auslagerung der Berechnung von Bewegungsverarbeitungsalgorithmen aus dem Host-Prozessor minimiert den Stromverbrauch und vereinfacht das Timing und die Software-Architektur. Der DMP sorgt dafür, dass die Algorithmen zur Bewegungsverarbeitung mit einer hohen Rate von ca. 200 Hz ausgeführt werden können, um genaue Ergebnisse mit geringer Latenzzeit zu erzielen. Es wird empfohlen, mit 200 Hz zu arbeiten, auch wenn die Anwendung viel langsamer aktualisiert wird, etwa mit 5 Hz. Die Entkopplung der DMP-Verarbeitungsrate von der Aktualisierungsrate der Anwendung gewährleistet eine robustere Systemleistung.
• Der DMP ermöglicht eine extrem stromsparende Laufzeit und eine Kalibrierung der Sensoren im Hintergrund. Die Kalibrierung ist erforderlich, um die optimale Leistung der einzelnen Sensoren und der Sensorfusionsprozesse über die gesamte Lebensdauer der Komponente zu erhalten.
• Der DMP vereinfacht die Softwarearchitektur und beschleunigt die Softwareentwicklung, was zu einer kürzeren Markteinführungszeit führt.

Integrierte Umweltsensoren

Die Umweltüberwachung ist in der Lebensmittelverarbeitung und -lagerung, in Chemiewerken, in der Logistik, in Rechenzentren, im Gewächshausanbau, in Heizungs-, Lüftungs- und Klimaanlagen (HVAC) und in anderen Bereichen unerlässlich. Die Messungen der relativen Luftfeuchtigkeit (RH) und der Temperatur können zur Berechnung des Taupunkts zusammengeführt werden.

Die SHTC3-Serie von Sensirion besteht aus digitalen Feuchtigkeits- und Temperatursensoren, die für batteriebetriebene Anwendungen im Edge-Bereich und in der Unterhaltungselektronik optimiert ist. Die CMOS-Sensorplattform umfasst einen kapazitiven Feuchtesensor, einen Bandlücken-Temperatursensor, analoge und digitale Signalverarbeitung, einen A/D-Wandler, einen Kalibrierdatenspeicher und eine I²C-Fast-Mode-Kommunikationsschnittstelle.

Das kleine 2 x 2 x 0,75 mm große DFN-Gehäuse eignet sich für Anwendungen mit begrenztem Platzangebot. Durch die breite Versorgungsspannung von 1,62 V bis 3,6 V und ein Energiebudget von weniger als 1 μJ pro Messung ist der SHTC3 für batteriebetriebene mobile oder drahtlose Geräte geeignet (Abbildung 4). Die Artikelnummer SHTC3-TR-10KS wird beispielsweise in Mengen von 10.000 Stück auf Digi-Reel, Band und Spule oder Gurtabschnitt geliefert. Das Evaluierungsboard SHTC3 kann verwendet werden, um die Systementwicklung zu beschleunigen.

Abbildung 4: Diese Komponente zur Umweltüberwachung enthält digitale Feuchtigkeits- und Temperatursensoren. (Bildquelle: Sensirion)

Messung des barometrischen Drucks

Kontext- und Ortskenntnis werden bei der Steuerung von Hausautomation, HLK-Systemen, Fitnessgeräten und Navigationsanwendungen in Innenräumen immer wichtiger. Diese Systeme können von der integrierten Umwelteinheit BME280 von Bosch Sensortec profitieren, die neben Feuchtigkeits- und Temperatursensoren auch einen barometrischen Drucksensor enthält.

Die Sensoren sind rauscharm und bieten eine hohe Genauigkeit und Auflösung. Der Drucksensor misst den absoluten barometrischen Druck. Der integrierte Temperatursensor ist für die Zusammenarbeit mit dem Feuchtesensor zur Bestimmung von Luftfeuchtigkeit und Taupunkt optimiert. Er wird auch zur Temperaturkompensation für das Barometer verwendet. Zur Beschleunigung des Design- und Systemintegrationsprozesses ist ein Entwicklungsboard erhältlich.

KI für die Umweltsensorik

Bosch Sensortec bietet auch einen 4-in-1-Umweltsensor mit integrierter KI an. Der BME688 enthält einen Gassensor sowie hochlineare und hochgenaue Druck-, Feuchte- und Temperatursensoren. Er wird in einem robusten, 3,0 mm x 3,0 mm x 0,9 mm großen Gehäuse geliefert, das sich für mobile und andere platzbeschränkte Anwendungen eignet (Abbildung 5).

Abbildung 5: Der BME688 von Bosch Sensortec enthält einen Gassensor sowie Druck-, Feuchtigkeits- und Temperatursensoren, die alle von der integrierten KI unterstützt werden. (Bildquelle: Bosch Sensortec)

Der Gassensor kann flüchtige organische Verbindungen (volatile organic compounds, VOCs), flüchtige Schwefelverbindungen (volatile sulfur compounds, VSCs) und andere Gase wie Kohlenmonoxid und Wasserstoff im ppb-Bereich (parts per billion - Teile pro Milliarde) erkennen. Der BME688 verfügt über eine Gasscannerfunktion, die hinsichtlich Empfindlichkeit, Selektivität, Datenrate und Stromverbrauch angepasst werden kann.

Die Software BME AI-Studio optimiert den Gassensor auch für andere Gasgemische und Anwendungen. Das BME688-Evaluierungsboard kann mit der Software BME AI-Studio konfiguriert werden. BME AI-Studio unterstützt Sensorkonfiguration, Datenanalyse und Kennzeichnung, Training und Optimierung von Anwendungslösungen für Fabriken, Logistikeinrichtungen, Smart Home und IoT-Geräte.

Die Entnahme von Gasproben und das Training des Systems im Feld statt im Labor ermöglicht die Entwicklung realistischerer Algorithmen, die unter tatsächlichen Betriebsbedingungen besser funktionieren und ein höheres Maß an Zuverlässigkeit bieten. Durch die Fähigkeit des BME688, neben Gasen auch Feuchtigkeit, Temperatur und Luftdruck gleichzeitig zu messen, können umfassendere und genauere KI-Modelle entwickelt werden.

Fazit

Sensorfusionssysteme für Industrie 4.0, Logistik und andere Anwendungen können mit einer Reihe von diskreten Sensoren oder einer integrierten Lösung entwickelt werden, die mehrere Sensoren in einem einzigen Paket enthält. Integrierte Komponenten können kleinere und stromsparende Lösungen für mobile und Edge-Anwendungen bieten. Unabhängig davon, ob diskrete Sensoren oder eine integrierte Sensorsuite verwendet werden, kann die Leistung durch den Einsatz von KI und ML verbessert werden.