Caso di studio 04
SAAM — Seco AI Apps Market
Portare gli LLM sui dispositivi edge industriali — con benchmark, containerizzazione e privacy by default
- Periodo
- Proof of concept, completato
- Contesto
- Università di Siena (DISPOC) con SECO S.p.A. e SECO Mind S.r.l., in integrazione con la piattaforma Clea AI Studio
- Ruolo
- Prototipazione edge AI, benchmarking hardware e progettazione di workflow agentici
- <8B
- parametri, in esecuzione interamente on-device
- 4
- target hardware industriali valutati
Il problema
Gli ambienti industriali hanno bisogno dell’IA vicino alle macchine — per la latenza, per la resilienza quando la connettività manca e soprattutto per la privacy dei dati. Ma distribuire, aggiornare e valutare modelli di IA su hardware edge eterogeneo è complesso, e la maggior parte degli utenti industriali non è fatta di ingegneri IA. SAAM è nato per creare un ecosistema che renda l’IA on-device installabile e gestibile, anche da utenti non tecnici tramite la piattaforma no-code Clea AI Studio.
Utente target
Tecnici, plant manager e IT manager alle prese con i guasti macchina in produzione — e, a livello di piattaforma, gli utenti non tecnici a cui sono destinati gli «AI bricks» no-code di Clea AI Studio. Nello scenario medicale, i clinici che necessitano di supporto all’analisi delle immagini senza che i dati dei pazienti lascino mai il dispositivo.
Il mio ruolo
- Prototipazione IA — assistenti offline per la gestione dei malfunzionamenti di sistemi industriali di controllo accessi, integrando Llama 4, Qwen 2.5 e Qwen 3; sperimentazione con modelli multimodali (Llama Vision) per l’analisi di schemi tecnici e diagrammi CAD.
- Ottimizzazione dei modelli — LLM lightweight sotto gli 8B parametri ottimizzati per l’esecuzione locale su hardware con risorse limitate.
- Benchmarking hardware — analisi comparative su framework di edge computing e federated learning; benchmark dei modelli su chipset Qualcomm Snapdragon X Elite e Intel Meteor Lake (Core Ultra) — token al secondo, compatibilità hardware-software — per popolare il SAAM Application Hub. La valutazione ha incluso anche l’acceleratore Hailo H10 e la piattaforma Edge Impulse.
- Integrazione di workflow e agenti — workflow n8n per l’automazione del supporto tecnico, sistemi RAG che interrogano i manuali tecnici in tempo reale durante i guasti e interfacce vocali (speech-to-text / text-to-speech) per macchinari industriali e medicali.
Il processo
Il lavoro è stato guidato dagli scenari: ogni prototipo rispondeva a un’esigenza industriale concreta, e i risultati misurati confluivano nel SAAM Application Hub.
- Supporto tecnico industriale — un sistema che analizza i log di errore, consulta i manuali e suggerisce soluzioni mirate a tecnici, plant manager e IT manager.
- Imaging medicale (MedGemma) — analisi assistita di radiografie toraciche a supporto della diagnosi differenziale (es. polmonite vs fibrosi), con i dati dei pazienti mantenuti on-device.
- Manutenzione predittiva — integrazione dei log di attività per migliorare la diagnostica e l’efficienza degli apparati industriali.
Decisioni chiave
- Privacy attraverso la località: gli scenari sensibili (imaging medicale, diagnostica industriale) girano interamente on-device — il modello di deployment è il modello di privacy.
- Modelli piccoli, misurati onestamente: restare sotto gli 8B parametri e pubblicare benchmark per chipset (token al secondo, compatibilità) invece di dare per scontati modelli cloud ovunque.
- Assistenza offline-first: prototipi di gestione guasti progettati per funzionare senza connettività, perché i guasti non aspettano la rete.
Risultato finale
Il proof of concept è stato completato: prototipi funzionanti nei tre scenari, un Application Hub popolato con dati di benchmark per chipset su Snapdragon X Elite e Intel Meteor Lake, e percorsi di integrazione validati con la piattaforma no-code Clea AI Studio — dimostrando che la diagnostica industriale sensibile alla privacy può girare on-device con modelli sotto gli 8B.
Cosa ho imparato
- Il ciclo di vita edge completo: portare un modello dall’ottimizzazione alla containerizzazione fino al deployment su un dispositivo specifico è una disciplina diversa dall’addestrarlo.
- Una toolchain concreta: Ollama, n8n, SQLite e PyTorch/TensorFlow come stack di lavoro per applicazioni IA on-device.
- Collaborazione ricerca-industria: lavorare tra la ricerca universitaria e i team R&D di SECO richiede di tradurre in entrambe le direzioni — una competenza a sé.