Un approccio economicamente vantaggioso al prelievo da contenitori alla rinfusa

Con il passaggio a linee di produzione sempre più automatizzate, molte attività complesse un tempo riservate agli operatori umani vengono ora svolte dalle macchine. Tra le più complesse c'è la selezione da contenitori alla rinfusa, vale a dire la capacità di "guardare" in un contenitore pieno di componenti alla rinfusa per identificare e recuperare quello necessario per l'attività successiva della linea, che potrebbe essere seminascosto sotto una pila di altri componenti.

Le applicazioni del prelievo da contenitori alla rinfusa spaziano dal caricamento delle macchine all'assemblaggio e allo smistamento, e la tecnologia è ampiamente utilizzata nei settori automotive, dell'elettronica, dell'e-commerce e dei dispositivi medici. Per svolgere questo compito, relativamente semplice per un essere umano, un braccio robotico deve ricorrere a visione artificiale 3D ad alta velocità, riconoscimento dei modelli e algoritmi di pianificazione dei percorsi. Più di recente, anche gli approcci di apprendimento automatico stanno contribuendo a perfezionare l'identificazione e il recupero dei componenti dai contenitori.

Luce strutturata e scansione laser a confronto

Sebbene l'uso della luce laser per le operazioni metodiche di scansione e mappatura delle superfici sia ben noto, la maggior parte dei moderni sistemi di prelievo da contenitori alla rinfusa sfrutta approcci a "luce strutturata" che sono più veloci, più sicuri e più economici della mappatura laser. Al di là del prelievo da contenitori, la scansione a luce strutturata è ampiamente utilizzata in campi quali il design industriale, il controllo qualità, i giochi in realtà aumentata e l'imaging medicale. Potenziali complicazioni possono essere rappresentate dalle condizioni di illuminazione ambientale e dalle superfici riflettenti dei componenti.

La luce strutturata consiste nel proiettare rapidamente una serie di pattern, come strisce e griglie (Figura 1), sul contenuto del contenitore. Da qualsiasi angolazione diversa da quella del proiettore, i disegni risultano distorti. Queste distorsioni, che rivelano la complessità tridimensionale del contenuto del contenitore, vengono acquisite in una serie di immagini fisse, ed è qui che entra in gioco la necessità di connettività ad alta velocità e di elaborazione ad alta potenza.

Figura 1: Mediante l'acquisizione e la successiva analisi delle immagini create da pattern di luce e buio proiettati in un contenitore pieno di componenti alla rinfusa, la scansione a luce strutturata rivela l'identità, la posizione e l'orientamento dei vari componenti all'interno del contenitore. (Immagine per gentile concessione di Lattice Semiconductor)

Gli FPGA svolgono i compiti ripetitivi

La maggior parte delle soluzioni a luce strutturata è composta da due moduli collegati tramite Ethernet: un modulo a sensore e un modulo di calcolo. Il modulo a sensore è collegato a un proiettore e avvia la proiezione di una serie di pattern di luce strutturata nel contenitore. Una telecamera posizionata fuori asse rispetto al proiettore acquisisce le immagini risultanti. Nel caso della soluzione a luce strutturata di Lattice Semiconductor, viene generata una serie di 41 immagini discrete, con pattern positivi, negativi, orizzontali e verticali. La sequenza di immagini acquisite dalla telecamera torna al modulo a sensore tramite un collegamento MIPI CSI.

Il modulo a sensore include anche risorse FPGA (gate array programmabile sul campo) che codificano la serie di 41 immagini in un'unica immagine codificata a 10 bit, con l'indicazione della posizione di un "pixel corrispondente" comune alle immagini generate. L'immagine codificata viene quindi trasmessa al modulo di calcolo tramite un collegamento Ethernet. Questa codifica aumenta in modo significativo la velocità di trasmissione al modulo di calcolo, nonché la reattività e le prestazioni dell'intero sistema. Ad esempio, l'invio di 41 immagini in formato raw con risoluzione di 1920 x 1080 pixel rappresenta 680 MB di traffico dati, mentre la singola immagine codificata rappresenta solo 41 MB di dati. Ciò rappresenta una riduzione del volume di dati di 16 a 1, con un corrispondente aumento delle prestazioni del sistema.

L'aggiunta di altri FPGA nel modulo a sensore consente di alleggerire ulteriormente i compiti del modulo di calcolo generando la mappa di profondità pixel per pixel che delinea efficacemente i singoli oggetti nel contenitore e aiuta il modulo di calcolo a calcolare un target ottimale come punto di prelievo per il braccio robotico associato. Si tratta di un'operazione molto ripetitiva che può essere eseguita in parallelo per ciascun pixel. In alternativa, l'utente può utilizzare la stessa risorsa del modulo di calcolo, aggiungendo però ulteriori funzionalità. Analogamente, l'FPGA può eseguire tutte o parte delle attività di rilevamento e segmentazione degli oggetti basate sull'apprendimento automatico per alleggerire ulteriormente il modulo di calcolo.

Hardware e software

Il motivo per il quale la combinazione di FPGA nel modulo a sensore e di CPU/GPU nel modulo di calcolo funziona così bene in questa applicazione risiede nei punti di forza complementari di ciascuna piattaforma. Gli FPGA eccellono nelle attività altamente ripetitive, come l'elaborazione specifica del sensore e la sincronizzazione a livello di frame necessaria per consolidare le informazioni relative a 41 immagini in un'unica immagine codificata. Questo è un compito ideale per un'implementazione hardware configurabile. Al contempo, la forza della CPU/GPU risiede in calcoli complessi di alto livello, quali quelli per l'ottimizzazione e il processo decisionale, che sono più facilmente implementabili a livello software (Figura 2).

Figura 2: Suddividendo in modo appropriato il carico di lavoro computazionale tra risorse FPGA e CPU/GPU, l'approccio al prelievo da contenitori alla rinfusa di Lattice Semiconductor ottimizza le prestazioni del sistema e ne riduce i costi dal punto di vista della distinta base. (Immagine per gentile concessione di Lattice Semiconductor)

Nel caso dell'applicazione di prelievo da contenitori alla rinfusa, la codifica FPGA locale eseguita dal modulo a sensore riduce drasticamente i dati da inviare al modulo di calcolo, aumentando la velocità di esecuzione del prelievo. Al contempo, l'FPGA riduce anche le esigenze di calcolo della CPU/GPU alloggiata nel modulo di calcolo, consentendo di utilizzare un processore di basso costo.

Il fattore di forma compatto e il basso consumo energetico degli FPGA consentono inoltre di alloggiare il modulo a sensore in un involucro di plastica relativamente compatto, senza la necessità di dispositivi per la dissipazione di potenza, come ventole o dissipatori di calore. L'effetto netto complessivo è una riduzione della distinta base per la soluzione totale.

La chiusura del cerchio

Una volta trasferita l'immagine codificata dal modulo a sensore al modulo di calcolo, la CPU/GPU utilizza la triangolazione per generare un'immagine di profondità dall'immagine codificata, come se si trattasse di una mappa topografica del fondo dell'oceano. L'immagine di profondità viene quindi utilizzata per il rilevamento degli oggetti (segmentazione) e per i successivi calcoli dei punti di prelievo. La visione artificiale svolge senz'altro il ruolo principale di guida nell'identificazione degli oggetti e nel calcolo dei punti di prelievo, ma in applicazioni più complesse vengono talvolta utilizzati modelli CAD per facilitare il rilevamento degli oggetti attraverso la corrispondenza geometrica. Più recentemente, sono stati sviluppati approcci basati sull'apprendimento automatico per gestire scenari più complicati; alcuni sfruttano l'apprendimento profondo per migliorare le prestazioni in base ai risultati di ciascun prelievo progressivo.

Infine, una volta completato il rendering 3D del contenuto del contenitore e selezionato un punto di prelievo appropriato per il recupero del componente successivo, vengono comunicate le istruzioni al robot per l'esecuzione. Quando il prelievo viene completato, il ciclo ricomincia.

Conclusione

La luce strutturata offre sicurezza e prestazioni maggiori rispetto al laser nelle applicazioni di prelievo da contenitori alla rinfusa. Inoltre, un approccio ibrido che sfrutta risorse sia FPGA che CPU/GPU offre le migliori prestazioni ed è anche il più conveniente dal punto di vista della distinta base. Ciò è dovuto sia all'appropriata divisione del lavoro tra le due tecnologie a semiconduttore sia al consumo energetico relativamente basso degli FPGA nel modulo a sensore, che a sua volta elimina la necessità di misure di raffreddamento ausiliarie.