Entwicklung ansprechender Benutzeroberflächen für das Metaverse

Der Metaverse-Mix aus ergänzter Realität (Augmented Reality, AR), virtueller Realität (VR) und erweiterter Realität (XR) entwickelt sich schnell in einer Vielzahl von Verbraucher-, Medizin-, Industrie-4.0- und anderen Anwendungen. Die Herausforderung besteht darin, die Technologien zu finden und anzuwenden, die das Nutzererlebnis so nahtlos und immersiv wie möglich machen. So werden beispielsweise Technologien wie 3D-Sensorik benötigt, um die Umgebung und die Position und Bewegung des Nutzers in dieser Umgebung zu verstehen. Weitere Technologien sind benutzerfreundliche Mensch-Maschine-Schnittstellen (HMIs) wie Handverfolgung, Gestenerkennung und High-Fidelity-Audio.

Nehmen wir uns eine Minute Zeit, um einige der Herausforderungen zu betrachten, die bei der Entwicklung von ansprechenden und immersiven Benutzererlebnissen bewältigt werden müssen, einschließlich der Notwendigkeit von Echtzeitleistung, kompakten Formfaktoren und Energieeffizienz. Anschließend stellen wir einige Beispiellösungen von Analog Devices vor, die dabei helfen können, diesen Herausforderungen zu begegnen. Dazu gehören dreidimensional (3D) messende Sensoren, die Benutzerinteraktionen mit AR-, VR- und XR-Geräten im Metaversum unterstützen können, kompakte und effiziente Audioverstärker der Klasse D für hochwertige Audioqualität sowie Evaluierungsboards zur Beschleunigung des Entwicklungsprozesses.

Was befindet sich im Raum?

Hochauflösende VCSEL-Laser (Vertical Cavity Surface Emitting Laser) können in Verbindung mit ToF-Software (ToF = Time-of-Flight, Laufzeit) eingesetzt werden, um Objekte im Raum zu erkennen, zu vermessen und zu verfolgen. Es wird ein Bilderfassungsgerät (Imager) mit VGA-Auflösung, der Fähigkeit, unter verschiedenen Beleuchtungsbedingungen zu arbeiten, mehreren Entfernungserkennungsmodi zur Erhöhung der Genauigkeit sowie die entsprechende 3D-Software und Analysealgorithmen benötigt. Das Bilderfassungsgerät benötigt eine Bildrate von 30 Bildern pro Sekunde (fps) und eine Abstandsmessungsgenauigkeit von besser als 2 % (Abbildung 1).

Abbildung 1: Personen und Objekte können mit VCSEL-basierten Bilderfassungsgeräten mit VGA-Auflösung verfolgt werden. (Bildquelle: Analog Devices, über OnElectronTech.com)

HMIs zur Gestenerkennung

Mit einer Software-Änderung kann derselbe VCSEL-Imager für die Gestenerkennung verwendet werden, wenn er über einen Nahaufnahme-Modus verfügt, der Handbewegungen in Abständen zwischen etwa 25 und 80 Zentimetern (cm) erfassen kann, sowie über einen schnellen Echtzeit-Prozessor. Die meisten Menschen nutzen bereits eine Form der Gestenerkennung bei Touchscreens. Angepasste Schnittstellen zur Gestenerkennung können entwickelt werden, um Anwendungen wie industrielle Wartung, medizinische Verfahren und Spielumgebungen zu unterstützen.

Messung von Bewegung

Unter bestimmten Umständen ist es wichtig, relative Bewegungen zu messen, z. B. die Blickrichtung des Benutzers und ob er seinen Kopf bewegt oder in eine bestimmte Richtung geht. Zu diesem Zweck können eine aus einem Miniatur-MEMS (mikroelektromechanisches System) bestehende Trägheitsmesseinheit (IMU) mit sechs Freiheitsgraden (DoF), ein Gyroskop und ein Beschleunigungsmesser in Kombination verwendet werden, um die Rotationsbewegung und die Beschleunigung des Benutzers zu erfassen (Abbildung 2).

Abbildung 2: Ein Gyroskop (links) und ein Beschleunigungsmesser (rechts) können zusammen Informationen über Bewegung und Position liefern. (Bildquelle: Analog Devices)

MEMS-Beschleunigungsmesser können die dynamische und statische (Reaktion auf die Schwerkraft) Beschleunigung entlang derselben drei orthogonalen Achsen messen, die auch die Drehachsen des Gyroskops definieren, was die Bewegungsinformationen weiter verbessert.

Effizienter und realistischer Klang

Hochwertige Audioqualität kann notwendig sein, um den Kontext und das Feedback zu liefern, die für eine ansprechende und immersive HMI erforderlich sind, und in den meisten Fällen muss sie sehr energieeffizient sein. Hierfür kann die neueste Verstärkertechnologie der Klasse D verwendet werden, die Audioqualität der Klasse AB mit hohem Wirkungsgrad bietet und die Norm EN55022B für elektromagnetische Störungen (EMI) erfüllt.

Kameramodule

Das Modul AD-FXTOF1-EBZ bietet eine Hardwareplattform für 3D-ToF-Tiefenwahrnehmung zur Objekterkennung und Gestenerkennung. Die Lösung bietet eine VGA-Auflösung und eine Bildrate von 30 fps. Sie funktioniert auch bei starkem Umgebungslicht und bietet Erfassungsbereiche von 25 bis 80 Zentimetern (cm) und 30 bis 300 cm mit einer Genauigkeit von besser als 2 % (Abbildung 3).

Abbildung 3: Das Kameramodul AD-FXTOF1-EBZ bietet eine VGA-Auflösung und eine Bildrate von 30 fps; es bietet eine Hardwareplattform für 3D-ToF-Tiefenwahrnehmung zur Objekterkennung und Gestenerkennung. (Bildquelle: Analog Devices)

In Kombination mit einer Prozessorkarte kann das AD-FXTOF1-EBCZ für die Entwicklung von 3D-Software und Algorithmen verwendet werden. Zur Vereinfachung der Anwendungsentwicklung wird ein natives und Host-Software-Entwicklungskit (SDK) bereitgestellt, das OpenCV, Python, MATLAB, Open3D und RoS-Wrapper umfasst.

Trägheitsmesseinheit und Entwicklungsboard

Für die Erfassung von Richtung und Bewegung, kann die präzise MEMS-Trägheitsmesseinheit ADIS16500AMLZ verwendet werden. Sie umfasst ein Gyroskop mit ±2000 Grad pro Sekunde (°/s), einen Beschleunigungsmesser mit ±40 g und die für eine optimale Leistung erforderliche Signalverarbeitung. Jeder Sensor wird im Werk mit dynamischen Kompensationsformeln vollständig kalibriert, um den Betrieb unter verschiedenen Bedingungen zu gewährleisten.

Das Breakout-Board ADIS16500/PCBZ kann verwendet werden, um die Entwicklung von IMU-Anwendungen zu beschleunigen (Abbildung 4). Das Board enthält die Trägheitsmesseinheit und eine 16-polige Stiftleiste, die mit 2-Millimeter-Flachbandkabeln verbunden werden kann. Für den Anschluss an ein Systementwicklungsboard können die Kabel bis zu 20 cm lang sein.

Abbildung 4: Das Breakout-Board ADIS16500/PCBZ für die Präzisions-MEMS-IMU ADIS16500AMLZ erleichtert die Anwendungsentwicklung. (Bildquelle: Analog Devices)

Audiolösung

Der MAX98304EWL+T ist ein Mono-Verstärker der Klasse D mit einer Leistung von 3,2 Watt und einem Wirkungsgrad von 93 % in einem 1 x 1 mm großen Gehäuse, der effizient Audioleistung der Klasse AB bietet. Der Verstärker macht externe Filter oder Abschirmungen überflüssig, um die EMI-Beschränkungen nach EN55022B zu erfüllen, da er Spreizspektrummodulation und eine aktive Schaltung zur Begrenzung der Flankenrate verwendet.

Das zugehörige Evaluierungskit MAX98304EVKIT+ bietet ein vollständig bestücktes und getestetes Board, das mit differenziellen oder referenzbezogenen Eingängen arbeitet und 3,2 Watt an einer 4-Ohm-Last liefern kann.

Fazit

Verschiedene Komponenten, Evaluierungsplattformen und Entwicklungskits sind verfügbar, um die Entwicklung kompakter, effizienter und ansprechender HMIs für das Metaverse zu beschleunigen. Dazu gehören VCSEL-basierte Kameras für Situationsbewusstsein und Gestenerkennung, Trägheitsmesseinheiten für die Bewegungserkennung und Verstärker der Klasse D zur Unterstützung von effizientem Audio.