Migliorare il controllo della qualità della produzione con il machine learning e dashboard centralizzate

Con la rapida evoluzione dell’industria manifatturiera nell’era dell’industria 4.0, i professionisti del settore stanno esplorando le tecnologie per migliorare e ottimizzare i processi industriali. Realizzare prodotti migliori è una delle principali priorità degli operatori industriali, insieme alla riduzione dei costi complessivi, all’aumento dei ricavi, all’offerta di prodotti a un prezzo inferiore e alla riduzione del time-to-market. Il controllo qualità è un processo critico che garantisce ai clienti di ricevere prodotti privi di difetti. Tuttavia, nella stragrande maggioranza dei casi, questa fase è ancora prevalentemente gestita dall’uomo.

Amazon Web Services (AWS) offre oltre 200 servizi completi di data center a livello globale. Inoltre, l’AWS Partner Network (APN) include migliaia di fornitori di software indipendenti (ISV) che adattano la loro tecnologia per lavorare su AWS. Ciò fornisce ai nostri clienti strumenti e capacità per supportare molti carichi di lavoro, ma anche per personalizzare le loro applicazioni in base alle esigenze aziendali utilizzando “lo strumento giusto per il lavoro giusto”.

In questo articolo vedremo come configurare un sistema di rilevamento delle immagini basato sul Machine Learning per identificare i difetti dei prodotti manufatturieri, inclusi dashboard di allarme in varie fasi del processo di produzione, nonché descrivere l’architettura di acquisizione, archiviazione e avviso del sensore back-end.

L’utilizzo di un meccanismo riproducibile e automatizzato consente di aumentare il numero di controlli di qualità lungo la linea di produzione, migliorando le attività di ispezione, riducendo gli errori e aumentando la visibilità nella catena di produzione. Inoltre, sarà possibile correlare i dati prodotti da questo processo di automazione con quelli derivanti dalle macchine, così da monitorare l’efficienza complessiva delle apparecchiature (OEE) misurata da prestazioni, disponibilità e qualità. L’eliminazione dei silos di dati e l’inserimento dei dati in un data lake di produzione centrale eleva il monitoraggio a livello aziendale, pur preservando i dettagli della fabbrica e della macchina. Ciò consente di comprendere meglio i processi di produzione e ottenere informazioni dettagliate su come migliorarli utilizzando un approccio basato sui dati.

Definizione dei KPI

La definizione delle dashboard e dei KPI da monitorare nelle fasi iniziali aiuta a impostare la soluzione e l’esperienza del cliente e a lavorare a ritroso dal punto di vista tecnologico. Daremo quindi prima uno sguardo più approfondito alle dashboard che vogliamo creare e ai KPI che dobbiamo monitorare per affrontare le sfide descritte nell’introduzione.
Per impostare il contesto, utilizziamo come esempio un processo di produzione di bottiglie di alluminio. Bisogna tener presente che è possibile adattarlo ed applicarlo ad altri casi d’uso di produzione poiché i concetti sottostanti (ML – Gestione di dati – Analisi dei dati) rimangono gli stessi.

Nella Figura 1, abbiamo modellato il processo di produzione della bottiglia di alluminio rappresentando ogni fase di produzione: proiettile di alluminio – lubrificazione – estrusione a impatto a freddo – guscio in alluminio – formatura del collo – trattamento termico – filettatura – test di idro-analisi – ispezione e spedizione.

Questo ci consente di monitorare l’output di ogni passaggio e rintracciare la causa principale di un difetto per affrontarlo al livello giusto.

Questa visualizzazione è integrata nella nostra dashboard di monitoraggio per aumentare l’ispezione umana, rendendola più visiva (in contrasto con l’avere solo dati/registri semplici). Così possiamo evidenziare rapidamente la fase di produzione che ha avuto esito negativo in un determinato momento, poiché correliamo l’evento di rilevamento dei difetti con i dati telemetrici delle macchine.

La figura 2 è un esempio di come si desidera che l’avviso di monitoraggio evidenzi un difetto rilevato durante la fase di ispezione.

Per creare tali dashboard, utilizzeremo Thingsboard, una piattaforma IoT open source per la visualizzazione dei dati disponibile su AWS Marketplace. Thingsboard fornisce widget personalizzati per facilitare la creazione di dashboard, inoltre consente di inviare comandi ai dispositivi e ricevere risultati di esecuzione dei comandi.

Come descritto nell’introduzione, oltre ad avere una visione di basso livello della produzione in una fabbrica, vogliamo anche avere una visione di alto livello dello stato della produzione a livello di impresa. Per fare ciò, abbiamo utilizzato una metrica denominata OEE, che viene calcolata in base alla disponibilità e alle prestazioni delle macchine, nonché alla qualità dei prodotti. L’obiettivo è aggregare queste metriche a diversi livelli per fornire una vista per regione, per paese, per stabilimento (vedi Figura 3 sotto, ci sono 8 regioni qui trattate: Pechino, Bangkok, Sydney, Nairobi, Lussemburgo, Buenos Aires, New York e Messico).

Utilizzando questa dashboard, siamo in grado di identificare rapidamente un problema in una di queste regioni e avere una visione di alto livello del problema. Nel nostro prototipo, abbiamo utilizzato parametri come la velocità in tempo reale del nastro trasportatore, la velocità massima progettata, lo stato del motore (on/off) per calcolare la disponibilità e le prestazioni. Per una linea di produzione nel mondo reale, aggiungerai più metriche nell’equazione. Osservando gli indicatori di colore, puoi confrontare le prestazioni di diverse regioni.

Ora, se facciamo clic su una di queste regioni, otterremo una vista intermedia (tra quella di alto livello nella Figura 3 e quella della catena di produzione nella Figura 2) per mostrare i dati e gli avvisi in corso a livello di fabbrica (vedere la Figura 4 di seguito).

Nella parte in alto a sinistra dello schermo, mostriamo l’OEE che ora è specifico per la regione su cui hai fatto clic, con la possibilità di attivare o disattivare i KPI di disponibilità, prestazioni e qualità per ottenere maggiori dettagli. In basso a sinistra c’è il conteggio dei difetti rilevati, ordinati per tipologia di difetti (es. graffi di vernice, tappo mancante).

Nella parte destra dello schermo ci sono gli avvisi in corso con il loro stato, dopo che è stato rilevato un difetto. Gli avvisi possono essere riconosciuti e assegnati (per consentire a qualcuno del tuo team di lavorarci su) o semplicemente cancellati dopo aver ispezionato il difetto.

Backend

Ora che abbiamo descritto l’aspetto e il comportamento delle dashboard, analizzeremo in modo più approfondito l’architettura e i servizi alla base (vedere la Figura 5 di seguito) per comprendere i requisiti per la creazione di questo tipo di piattaforma di monitoraggio.

Creiamo le dashboard nella sezione precedente utilizzando i dati generati da più sistemi hardware che lavorano insieme. Questi includono nastri trasportatori, telecamere e computer di apprendimento automatico basati sulla tecnologia edge (chiamati insieme Computer Vision). Acquisiamo quasi in tempo reale i parametri utilizzando AWS IoT Core e carichiamo periodicamente nuove foto del prodotto su Amazon S3 utilizzando AWS Transfer Family. Inviamo anche i parametri ad Amazon Timestream da AWS IoT Core. Questi due servizi di archiviazione cloud (vedere il blocco “7” nella Figura 5) fungono da data lake di produzione:

1. Amazon Simple Storage Service (Amazon S3), è un servizio di data storage che offre scalabilità, disponibilità, sicurezza, prestazioni e basso costo ed è un livello di storage ideale per un data lake industriale. Utilizziamo Amazon S3 qui per archiviare dati grezzi e non strutturati come le immagini dei prodotti. Successivamente, utilizziamo queste informazioni per addestrare i modelli di machine learning in Amazon SageMaker (ne parleremo più dettagliatamente nelle sezioni seguenti).
2. Amazon Timestream, è un servizio di time series database veloce, scalabile e serverless per IoT e applicazioni operative che ci consente di eseguire il rilevamento delle anomalie quasi in tempo reale e, infine, rendere i dati disponibili in millisecondi.

Il data lake è un elemento centrale nell’architettura Cloud che archivia diversi tipi di dati trasferiti dalle fabbriche e consente due flussi di lavoro principali: Computer Vision e Equipment Data Analytics.

Computer Vision (CV) su AWS

L’ispezione automatizzata della qualità dei prodotti richiede l’esecuzione di modelli di machine learning (ML) all’edge per fornire una conclusione quasi in tempo reale e prevenire problemi che possono essere generati dalla disconnessione della rete esterna. La visione computerizzata comprende fotocamere (e-CAM130 13MP) e un computer (Jetson Xavier AGX) periferici. Questi sono alloggiati in un involucro costruito su misura per il nostro prototipo che è posizionato sopra un nastro trasportatore come mostrato nella Figura 6.

Il prodotto (bottiglia di alluminio nel nostro caso) passa attraverso la custodia dove acquisiamo 4 immagini da diverse angolazioni. Per effettuare deduzioni sulle immagini e identificare difetti come graffi e cappucci mancanti, utilizziamo un computer edge Jetson Xavier AGX con due modelli ML.

Abbiamo formulato algoritmi Single Shot Multibox Detector (SSD) utilizzando Amazon SageMaker e implementato sul pc periferico utilizzando AWS IoT Core. L’attuale velocità di inferenza è inferiore a 200 ms per immagine, ovvero ci vuole meno di un quarto di secondo perché un’immagine in arrivo venga elaborata dal nostro modello ML. I risultati di questo processo vengono combinati con metadati aggiuntivi come la velocità del nastro trasportatore e inseriti in AWS Cloud tramite AWS IoT Greengrass in esecuzione sul dispositivo Jetson (vedere il blocco “6” nella Figura 5).

La nostra scelta di hardware si basa su capacità di calcolo, costo e disponibilità sul mercato. La selezione del dispositivo Jetson Xavier AGX rispetto ad altre offerte (ad es. Jetson Nano) ci consente di eseguire più modelli ML in parallelo senza perdere prestazioni. Funziona con il sistema operativo Ubuntu 16.04 che offre flessibilità per implementare codice di apprendimento automatico personalizzato senza essere vincolato a software specifici di fornitori di terze parti. Il modulo telecamera e-CAM130 consente di collegare fino a 4 telecamere al dispositivo Jetson Xavier AGX e trasmettere immagini in streaming con una risoluzione di 1280×720.

L’immagine sottostante (Figura 7) è un esempio di bottiglia con difetti evidenziati dal modello ML.

Per ogni prodotto che passa attraverso il nastro trasportatore, registriamo metriche diverse. Nella figura 8 si può vedere un JSON di esempio che rappresenta una registrazione. Il computer perimetrale è configurato con AWS IoT GreengrassV2 e invia dati in tempo reale al cloud AWS. La frequenza del caricamento dei metadati JSON nel cloud dipende da quanti prodotti passano attraverso il nastro trasportatore. Per questo dimostratore, abbiamo testato la configurazione con una frequenza di 1 caricamento JSON ogni 3 secondi.

1. siteId: posizione del sito di produzione
2. timestamp: data e ora in cui il prodotto è stato controllato
3. productDetected: flag booleano che indica la presenza o meno di un prodotto
4. productionLineStatus: quando la linea di produzione è in funzione
5. trasportatoreBeltSpeed: velocità della linea di produzione
6. cam1, cam2, cam3, cam4: elenco delle coordinate del riquadro di delimitazione in cui il sistema rileva un difetto.
7. defectDetected: flag booleano se viene rilevato un difetto

Una serie di servizi diversi collabora per archiviare, elaborare e alimentare i dati di cui sopra nella dashboard di Thingsboard (vedere il blocco “6”, “7” nella Figura 5). La motivazione per la scelta di questi servizi era quella di avere un’architettura senza server e scalabile.

1. AWS IoT Core: agisce come un’unica fonte di accesso per tutti i dati non ancora analizzati e li rende disponibili per essere elaborati successivamente.
2. Amazon Kinesis Firehose: servizio intermedio per importare dati grezzi da IoT Core in S3 per abilitare la registrazione dei dati.
3. Amazon Timestream: consente di risparmiare tempo e costi nell’acquisizione dei dati in tempo reale. Fornisce inoltre funzioni analitiche (ad es. Avg, Sum, Between, Bin, Interpolate) per aggregare ed elaborare dati grezzi in metriche di consumo aziendale per la visualizzazione a valle.

Attualmente, la nostra configurazione è in grado di valutare la qualità di una bottiglia ogni secondo, il tempo necessario affinché la bottiglia passi attraverso il nostro sistema di controllo qualità e produca i risultati da caricare nel cloud per l’elaborazione a valle.

La dashboard di Thingsboard può acquisire i risultati di 10 di queste fabbriche in parallelo per mostrare metriche rilevanti per l’azienda come l’OEE. La nostra architettura è progettata per scalare questo su più fabbriche come richiesto.

Analisi dei dati delle apparecchiature

Al fine di rintracciare la causa principale dei difetti e generare avvisi significativi per l’anomalia, correliamo i risultati dell’inferenza del difetto con le metriche del macchinario in tempo reale durante il processo di produzione (“arricchimento dei dati”). Ad esempio, un punto dati macchina “velocità nastro=100 rps” non fornisce alcuna informazione significativa di per sé, ma se combinato con il suo ID attrezzatura, ID linea di produzione, timestamp, soglie normali e altri dati relativi all’attrezzatura come temperatura e vibrazione, ci consente di sfruttare un algoritmo di rilevamento delle anomalie (o rilevamento dei valori anomali) per scoprire schemi anomali nel processo.

A tale scopo (vedere il blocco “5”, “6”, “7” nella Figura 5), distribuiamo una funzione AWS Lambda sul dispositivo gateway edge per consolidare i parametri delle apparecchiature in formato JSON e inviare dati al core AWS IoT. AWS IoT core indirizza le metriche dell’attrezzatura in tempo reale (ad es. ID attrezzatura, velocità del nastro trasportatore, stato di produzione) verso Amazon Timestream.

Quindi pianifichiamo con Amazon CloudWatch l’esecuzione di un’altra funzione AWS Lambda che recupera una grande quantità di dati durante gli ultimi 60 secondi da Amazon Timestream e inserisce il pacchetto in una coda di Amazon SQS. Thingsboard acquisisce il pacchetto dalla coda e aggiorna la dashboard. (Vedi blocco “9” in Figura 5)

La motivazione che colloca Amazon SQS nel mezzo del processo è quella di rendere il sistema ad accoppiamento lasco più robusto al fine di evitare la perdita di dati in scenari come:

• Problemi di connettività tra la funzione lambda e Thingsboard;
• Thingsboard è sovraccarico e non può acquisire dati prima dell’arrivo del pacchetto successivo.

Notifiche

Infine, le notifiche possono aiutare i lavoratori ad agire rapidamente quando viene rilevato qualcosa di anomalo. Definiamo le logiche di business (ad esempio, il rapporto di qualità è inferiore all’80% per x minuti) in una funzione AWS Lambda e utilizziamo Amazon Simple Notification Service per inviare la notifica agli industriali (vedere il blocco “8” nella Figura 4).

Conclusione

Le aziende manifatturiere possono utilizzare Amazon Machine Learning e i servizi IoT, insieme a software e hardware dei partner, per “reinventare” i propri processi industriali e migliorare il controllo della qualità dei prodotti fabbricati.

Grazie ai servizi AWS, le aziende possono creare e testare soluzioni complesse in un impianto produttivo e distribuirle immediatamente in altri siti utilizzando le stesse API e sfruttando l’infrastruttura globale di AWS.

Avere la possibilità di utilizzare un meccanismo riproducibile per automatizzare l’ispezione della qualità consente di moltiplicare il numero di controlli di qualità nella linea di produzione, rendendo più facile risalire ai difetti e rilevarli in modo proattivo, migliorando in definitiva la qualità complessiva dei prodotti che escono dalla fabbrica a vantaggio dei tuoi clienti.