Come e perché i microcontroller possono aiutare a rendere più democratico l'accesso all'Edge IA

Negli ultimi anni, l'Edge IA si è diffusa sempre più e si prevede che il mercato globale crescerà a un tasso annuo composto del 27,8% fino al 2035, raggiungendo un valore netto di 356,84 miliardi di dollari.

La domanda è determinata da diversi fattori. L'elaborazione dei dati nell'edge risolve i problemi di sicurezza che le aziende potrebbero avere con l'instradamento al cloud di informazioni sensibili o proprietarie. Riduce anche la latenza, un vantaggio che potrebbe essere importante nelle applicazioni in tempo reale in cui si devono prendere decisioni in una frazione di secondo. I dispositivi Industrial IoT (IIoT) offrono operazioni basate sui dati, che a loro volta aumentano i casi d'uso dell'Edge IA. Le implementazioni in rapida espansione, dai dispositivi medici portatili a quelli indossabili e all'IIoT, stanno spingendo il mercato dell'IA verso l'edge.

Via via che la tecnologia si diffonde, cresce la domanda di componenti in grado di far fronte alle esigenze di elaborazione dei dati nei sistemi embedded.

Le scelte di calcolo informatico: microcontroller o microprocessori

La stragrande maggioranza dei dispositivi IoT presenti oggi in apparecchiature industriali e altre di tipo embedded sono a bassa potenza e hanno pochissima memoria. La loro potenza di calcolo proviene da piccoli microcontroller (MCU) embedded la cui architettura a bassa potenza consente ai sistemi embedded di essere molto più convenienti rispetto a quelli con microprocessori.

Fino all'avvento dell'Edge IA, gli MCU hanno soddisfatto egregiamente le esigenze di elaborazione dei dispositivi IoT. Ma gli MCU tradizionali non sono tipicamente in grado di fornire la potenza di calcolo necessaria per algoritmi di apprendimento automatico più complessi che contraddistinguono le applicazioni Edge IA. Questi algoritmi in genere sono eseguiti su unità di elaborazione grafica (GPU) e microprocessori dotati di una maggiore potenza di calcolo. Questi componenti hanno tuttavia degli svantaggi, fra cui la quantità di energia che consumano. Dal punto di vista energetico, i microprocessori o le GPU non sono le soluzioni più efficienti. Di conseguenza, l'edge computing basato su microprocessori potrebbe non essere la soluzione migliore per tutte le applicazioni di Edge IA, motivo per cui i fornitori preferiscono fare affidamento sugli MCU.

Gli MCU standalone sono meno costosi delle GPU e dei microprocessori. Per scalare l'Edge IA, c'è una crescente necessità di sfruttare i vantaggi degli MCU - basso costo e basso consumo - aumentando al contempo la potenza di calcolo.

Nel corso degli anni, la convergenza di alcuni fattori ha aumentato le capacità degli MCU sull'edge.

Cosa favorisce l'uso degli MCU sull'edge

Nonostante l'opinione comune che l'MCU tradizionale fosse troppo leggero per l'elaborazione dei dati IA, i cambiamenti intervenuti sia nella sua progettazione sia nell'ecosistema tecnologico più ampio ne stanno stimolando l'adozione nei casi d'uso dell'Edge IA.

Questi includono:

• L'integrazione di acceleratori IA negli MCU: quando l'MCU da solo ha difficoltà a rispondere alle esigenze di edge computing, l'integrazione con un acceleratore IA/ML come le unità di elaborazione neurale (NPU) o i processori di segnali digitali (DSP) migliora le prestazioni.

  Ad esempio, le CPU serie STM32N6 (Figura 1) di STMicroelectronics si basano sul core ARM Cortex-M55 a 800 MHz. Grazie alla tecnologia di elaborazione vettoriale ARM Helium, una CPU standard ha capacità di elaborazione DSP. STM32N6 è il primo MCU STM32 che integra ST Neural-ART Accelerator, una NPU sviluppata internamente e progettata per applicazioni potenti di Edge IA.

Figura 1: STM32N6 è il primo MCU STM32 che integra ST Neural-ART Accelerator, un'unità di elaborazione neurale (NPU) sviluppata internamente e progettata per applicazioni di intelligenza artificiale di Edge IA ad alta efficienza energetica. (Immagine per gentile concessione di STMicroelectronics)

• Modelli di IA ottimizzati per l'edge: trasferire semplicemente agli MCU gli algoritmi di IA e ML ad uso intensivo non è sufficiente. Questi devono anche essere ottimizzati per le risorse di calcolo vincolate. Questo è esattamente ciò che fanno le architetture di IA compatte come TinyML e MobileNet che, insieme a tecniche di ottimizzazione, consentono anche agli MCU sull'edge di eseguire algoritmi di IA. STMicroelectronics ha lanciato STM32Cube.AI, una soluzione software che converte una rete neurale in codice C ottimizzato per MCU STM32. Questa soluzione, abbinata a STM32N6, aiuta a garantire le prestazioni necessarie per le applicazioni di Edge IA, nonostante i vincoli di elaborazione e memoria.

• L'ascesa degli ecosistemi di intelligenza artificiale: la semplice presenza di un componente hardware in grado di eseguire elaborazioni IA sull'edge non basta. L'esecuzione di algoritmi di IA sull'edge richiede ecosistemi di facile utilizzo per gli sviluppatori, che ne semplifichino le implementazioni. Strumenti specifici come TensorFlow Lite per microcontroller aiutano in tal senso. Molte community open-source come Hugging Face e altre piattaforme offrono modelli e librerie di codice pre-addestrate che gli sviluppatori possono testare e personalizzare in funzione dei loro specifici casi d'uso. Tali ecosistemi di IA abbassano le barriere per l'adozione della tecnologia e ne rendono più democratico l'accesso, anche per le aziende con risorse limitate che potrebbero non essere in grado di sviluppare da zero modelli di IA proprietari.

  STMicroelectronics offre un ecosistema hardware e software personalizzato, ST Edge AI Suite, per soluzioni ottimizzate di Edge IA. La suite consolida molte delle librerie e degli strumenti di IA di ST per consentire agli sviluppatori di trovare più agevolmente modelli, fonti di dati, strumenti e compilatori con cui generare codice per il microcontroller.

  I modelli pre-addestrati della suite offrono agli sviluppatori un punto di partenza. Usano il formato ONNX (Open Neural Network Exchange), uno standard aperto per rappresentare modelli di apprendimento automatico in aree quali la visione artificiale (CV), l'elaborazione del linguaggio naturale (NLP), l'intelligenza artificiale generativa (GenAI) e l'apprendimento automatico su grafi.

• Codici per la standardizzazione e l'interoperabilità: se gli ecosistemi di IA hanno aiutato le aziende a testare i casi d'uso dell'Edge IA, i formati di modelli aperti e standardizzati hanno favorito una perfetta integrazione tra i sistemi hardware. La compatibilità tra strumenti software e MCU ha contribuito a ridurre gli ostacoli per le implementazioni Edge IA.
• Attenzione alla sicurezza sull'edge: mentre gli MCU eliminano o quantomeno riducono la necessità di elaborazione dei dati nel cloud, i componenti hardware forniscono ulteriori livelli di sicurezza. In genere, comprendono funzionalità come la crittografia hardware e l'avvio sicuro, che proteggono sia i dati sia i modelli di IA dagli hacker.

Caratteristiche degne di nota dell'hardware STM32N6

La serie STM32N6 include un MCU ad alte prestazioni con una NPU, un bundle di moduli fotocamera e un kit Discovery. La serie utilizza una tipica architettura ARM Cortex-M e offre diverse caratteristiche chiave che rendono questi dispositivi idonei per l'Edge IA, tra cui:

• ST Neural-ART Accelerator, in grado di eseguire modelli di reti neurali. È ottimizzato per gli algoritmi IA intensivi, con un clock di 1 GHz e fornisce 600 GOPS con un'efficienza energetica media di 3 TOPS/W.
• Supporto per le istruzioni MPVE (M-profile Vector Extension) "Helium", un insieme di istruzioni ARM con cui generare potenti funzioni di rete neurale e DSP. Queste istruzioni sono studiate, ad esempio, per funzionare con numeri a virgola mobile a 16 e a 32 bit, al fine di manipolare in modo efficiente numeri a bassa precisione. Sono importanti per l'elaborazione di modelli di ML.
• ST Edge IA Suite, un repository di strumenti software gratuiti, casi d'uso e documentazione che aiuta gli sviluppatori - quale che sia il loro livello di esperienza - a creare IA per l'edge intelligente. La suite include anche strumenti come ST Edge IA Developer Cloud, con reti neurali dedicate nella suite di modelli STM32, una "board farm" per il benchmarking del mondo reale e molto altro.
• Quasi 300 unità configurabili di moltiplicazione-accumulo e due bus di memoria AXI a 64 bit per un throughput di 600 GOPS.
• Processore di segnali d'immagine (ISP) dedicato integrato, in grado di interfacciarsi direttamente con più fotocamere da 5 megapixel. Per realizzare sistemi con fotocamere integrate, gli sviluppatori devono regolare l'ISP per un particolare sensore della fotocamera CMOS e il suo obiettivo. Questa regolazione richiede in genere competenze specifiche o l'assistenza di terze parti. Per questo, ST mette a disposizione degli sviluppatori uno speciale software desktop chiamato iQTune. Questo software, in esecuzione su una workstation Linux, comunica con il codice embedded in STM32 e analizza la precisione del colore, la qualità dell'immagine e le statistiche e configura in modo appropriato i registri ISP.
• Supporto di MIPI CSI-2, l'interfaccia fotocamera più diffusa nelle applicazioni mobili, senza che sia richiesto un ISP esterno compatibile con questa particolare interfaccia seriale per fotocamera.
• L'aggiunta di molte altre funzionalità in un singolo dispositivo permette ora agli sviluppatori di eseguire una rete neurale in combinazione con una GUI senza dover utilizzare molteplici MCU.
• Sicurezza solida, comprese le certificazioni Target SESIP livello 3 e PSA livello 3.

Conclusione

Per far fronte all'esecuzione di algoritmi complessi, le applicazioni di apprendimento automatico in esecuzione sull'edge richiedevano il ricorso a microprocessori per uso intensivo nei sistemi embedded. Grazie a potenti MCU come le CPU serie STM33N6 di STMicroelectronics, ora le aziende possono accedere all'Edge IA in modo più democratico. STMicroelectronics offre un intero ecosistema per l'implementazione dell'Edge IA, compresi i componenti software e hardware per l'inferenza.