{"id":154,"date":"2023-12-27T17:03:05","date_gmt":"2023-12-27T17:03:05","guid":{"rendered":"https:\/\/atled.it\/atled\/?p=154"},"modified":"2023-12-27T17:03:05","modified_gmt":"2023-12-27T17:03:05","slug":"lintelligenza-artificiale-dalla-workstation-ai-dispositivi-edge","status":"publish","type":"post","link":"https:\/\/atled.it\/atled\/lintelligenza-artificiale-dalla-workstation-ai-dispositivi-edge\/","title":{"rendered":"L’AI dalla workstation ai dispositivi edge: come trasformare il tuo modello Pytorch o Tensorflow in TFLite"},"content":{"rendered":"


In questo articolo vengono definite le peculiarità dell’utilizzo dell’Intelligenza artificiale su dispositivi edge, come sistemi di Internet of Things (IoT) o dispostivi mobile, e di come trasformare il proprio modello allenato su workstation con Pytorch o Tensorflow in Tensorflo Lite, la più famosa libreria mobile per la distribuzione di modelli su dispositivi mobili, microcontrollori e altri dispositivi edge.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n

Immagine da: Tensorflow: for Mobile & Edge<\/a><\/p>\n\n\n

L’intelligenza artificiale sui dispositive edge<\/h4>\n\n\n

L’IA sui dispositivi edge, nota anche come “AI on edge computing” o “Edge AI”, è un paradigma di elaborazione dati che prevede l’esecuzione di algoritmi di intelligenza artificiale direttamente sui dispositivi o sui nodi di rete periferici, piuttosto che trasmettere i dati a server remoti o al cloud per l’elaborazione. In altre parole, mentre tradizionalmente l’elaborazione dei dati e l’apprendimento automatico richiedevano l’invio dei dati a server potenti e centralizzati, con l’IA sul bordo, queste operazioni avvengono localmente, più vicino alla fonte dei dati. Ciò significa che i dispositivi intelligenti, come telefoni cellulari, telecamere, veicoli, sensori IoT e persino alcuni elettrodomestici, possono eseguire analisi complesse e prendere decisioni autonome senza dipendere totalmente da connessioni di rete stabili e godendo di una miglior gestione della privacy e sicurezza dei dati.<\/p>\n\n\n

Ma come devono modificarsi ed adattarsi i modelli di Deeplearning che alleniamo per poter funzionare in questo paradigma ? <\/p>\n\n\n

Le caratteristich di un modello di Deep Learning per effettuare inferenze on Edge sono le seguenti:<\/h5>\n\n\n
    \n
  1. \nConsumo ottimale di energia<\/strong>: Il consumo energetico ottimale è essenziale per i dispositivi Edge, specialmente quando non sono sempre collegati a una fonte di alimentazione considerato che solitamnte i modelli di DL sono dispondiosi.<\/li>\n\n\n\n
  2. \nLeggerezza<\/strong>: I dispositivi Edge hanno risorse limitate in termini di spazio di archiviazione e capacità di calcolo. Pertanto, i modelli di deep learning che vengono implementati su questi dispositivi devono essere leggeri, con dimensioni binarie ridotte.<\/li>\n\n\n\n
  3. \nMultipiattaforma e linguaggio:<\/strong> dispositivi Edge possono essere basati su diverse piattaforme hardware e sistemi operativi. Pertanto, è importante sviluppare modelli di DL che siano multipiattaforma e compatibili con una varietà di dispositivi, ambienti e linguaggi di integrazione<\/li>\n<\/ol>\n\n\n

    Una delle soluzioni più utilizzate per soddisfare queste caratteristiche è TensorFlow Lite. TensorFlow Lite è una versione ottimizzata per dispositivi mobili e Edge del rinomato framework di deep learning TensorFlow.<\/p>\n\n\n

    Tensorflow Lite<\/h4>\n\n\n

    TensorFlow Lite è una libreria mobile per la distribuzione di modelli su dispositivi mobili, microcontrollori e altri dispositivi edge. TFLite deriva dal del rinomato framework di deep learning TensorFlow ed è disponibile per Android, iOS, macOS, Linux e Windows supportando vari linguaggi di programmazione (Python, C, Java, Go e Rust).<\/p>\n\n\n

    Per scoprire di più su Tensorflow Lite: TFLite<\/a>.<\/p>\n\n\n

    Come convertire il tuo modello in TFLite<\/h4>\n\n\n

    Individuati i vantaggi dell’utilizzo di Tensorflow Lite non resta che capire come trasformare il nostro modello, sia se implementato con Tensorflow (e Keras) che con Pytorch. Nei prossimi sottocapitoli viene perciò presentata un step by step tutorial per entrambi i casi.<\/p>\n\n\n

    Come passare da Tensorflow o Keras a TFLite<\/h5>\n\n\n

    La conversione partendo da un modello allenato nel framework di Tensorflow risulta molto semplice e immediata grazie all’API <\/strong>TFLiteConverter<\/code><\/a>. Questa API convertirà il modello partendo da uno dei seugenti input: <\/p>\n\n\n