Earth in the Cloud

Il progetto

Earth in the Cloud è un progetto di ricerca finanziato da POR FESR Lazio 2014 – 2020 (Azione 1.2.1) che ha coinvolto due organismi di ricerca, l’Università degli Studi di Roma Tor Vergata (attraverso ol Dipartimento di Ingegneria Civile ed Ingegneria Informatica) e la Sapienza Università di Roma (attraverso il Dipartimento di Informatica). Il progetto ha avuto l'obiettivo di sviluppare un nuova tecnologia che, attraverso tecniche basate su modelli matematici ed intelligenza artificiale, consenta di automatizzare, ottimizzare e minimizzare i costi del processo di sviluppo, messa in produzione ed operatività di applicazioni che elaborano dati di Osservazione della Terra (OT) su piattaforme di cloud computing. Sfruttando le risorse di calcolo offerte dai vari cloud provider competitivi presenti sul mercato, la tecnologia ha l'obiettivo di agire infatti come broker per l’utente, selezionando in autonomia le risorse più efficienti ed economicamente convenienti, ed automatizzando il processo di deploy ed esecuzione dei workflow operativi. Il fine ultimo è quello di abbattere per le imprese i costi di operatività e gestione delle applicazioni che convertono i dati OT in prodotti e servizi a valore aggiunto, offrendo loro notevoli vantaggi in termini di competitività, time-to-market e scalabiltà, permettendo di sostenere rapide crescite del loro business.

La tecnologia di cui sopra include seguenti specifici obiettivi:

1 Fornire un supporto all'utente per descrivere i propri workflow operativi
2 Identificare automaticamente i tipi di macchine e la quantità di risorse di elaborazione più efficienti
3 Automatizzare le operazioni di deploy dei workflow operativi su una o più piattaforme cloud selezionate
4 Automatizzare le operazioni di attivazione ed esecuzione dei workflow operativi
5 Creare e dimensionare i pool di risorse su cui viene eseguito ogni workflow operativo
6 Automatizzare il rilevamento delle modifiche ai tipi di risorse di elaborazione disponibili
7 Monitorare l'esecuzione dei workflow operativi

Il progetto si è concluso a settembre 2023. Il costo previsto ed il contributo ammesso per il progetto sono stati di € 148.724,10.

Organizzazione delle attività

Le attività di progetto si sono articolate nei seguenti 5 Work Packages (WPs):

- WP1: Attività di coordinamento ed amministrazione, di comunicazione e di valorizzazione dei risultati

- WP2: Analisi dei requisiti utente ed identificazione dei requisiti tecnologici, definizione dei casi di test pilota

- WP3: Studio e sviluppo di tecniche basate su IA e modelli matematici a supporto dell’automazione e dell’ottimizzazione dei workflow operativi in ambiente cloud

- WP4: Progetto della tecnologia e sviluppo dei componenti operativi del sistema

- WP5: Sperimentazione finale e valutazione dei risultati

Diagramma delle tempistiche delle attività:

Sviluppi

Il progetto è giunto al termine. Dopo il completamento delle attività dei work packages 2, 3 e 4 è stata completata la fase finale di sperimentazione relativa al WP5. Di seguito si riportano i requisiti e gli obiettivi tecnico/scientifici raggiunti nel contesto delle attività dei vari work packages.

In ambito del WP2, dedicato all'identificazione dei requisiti e delle funzionalità della tecnologia, sono stati identificati i seguenti macro-obiettivi:

1adottare una rappresentazione dei workflow basata su DAG (Directed Acyclic Graphs)
2offrire uno o più framework che semplifichi all’utente la costruzione dei DAG
3automatizzare tutte le operazioni per i dispiegamento (deploy) dei workflow sul cluster di macchine in cloud su cui devono essere eseguiti
4automatizzare l’esecuzione parallela di un workflow su più set di dati di input
5automatizzare la scelta delle macchine per la composizione del cluster su cui eseguire un workflow da uno o più cloud provider
6identificare automaticamente per ogni specifico workflow e in base alle caratteristiche dello specifico set di dati di input i tipi di macchine e la quantità di macchine da utilizzare
7effettuare la scelta delle macchine e dimensionare automaticamente il cluster di macchine su cui viene eseguito un workflow in base ai requisiti in termini di tempi di esecuzione (deadline) desiderati dall’utente
8effettuare la scelta delle macchine e dimensionare automaticamente il cluster di macchine su cui viene eseguito un workflow in base ai requisiti in termini di costi reali per l’utente per l’esecuzione del workflow
9automatizzare l’accesso ai differenti dataset da elaborare in base allo schedule di esecuzione dei workflow ed agli intervalli temporali di interesse dei dati
10monitorare l'esecuzione dei workflow operativi e dei possibili errori/eccezioni nell’esecuzione

Il WP3 ha prodoto le tecniche e gli strumenti per:

1l'identificazione, tra la moltitudine di macchine e configurazioni offerte dai cloud provider, dei tipi di macchine più efficienti per l’esecuzione dei vari workflow
1la previsione del tempo di esecuzione dei task dei vari workflow in base al tipo ed alla quantità di macchine usate, e in particolare in funzione delle caratteristiche (metadati) di ogni specifico set di dati da elaborare
1la ricerca delle soluzioni ottimali in termini di scheduling dei task dei vari workflow in base ali requisiti di QoS e alle tempistiche desiderate dall’utente per l’esecuzione di ogni workflow.

In ambito del WP4 sono state concluse le implementazioni del set di servizi per:

1la gestione delle connessioni multiple verso le piattaforme di servizi cloud
2l’accesso e la gestione dei cataloghi delle risorse di calcolo
3le funzioni di orchestrazione per l’acquisizione multipla/rilascio delle risorse
4 le API per l’accesso agli storage e la gestione delle immagini delle macchine
5le funzionalità di gestione e processamento di workflow
6le funzioni per il dispiegamento dei workflow sui cluster di macchine in cloud
7le funzioni di monitoraggio dell’esecuzione distribuita dei workflow

La fase di sperimentazione, prevista nel WP5, ha portato a termine uno studio di valutazione complessivo sulla tecnologia sviluppata, prevendendo in particolare i seguenti studi mirati:

1uno studio per la valutazione e il raffinamento dei workflow prodotti per condurre la sperimentazione finale della tecnologia
2uno studio di valutazione focalizzato sulle capacità della tecnologia sviluppata di identificare le soluzioni ottimali in termini di scheduling dei workflow, sulla base di requisiti di QoS e di costo stabiliti dall’utente
3uno confronto sperimentale messo in atto per valutare le suddette capacità della tecnologia sviluppata rispetto alle soluzioni allo state dell'arte per lo scheduling dei workflow in ambiente cloud
4uno studio di valutazione delle tecniche di previsione del tempo di esecuzione dei task dei vari workflow sulla base del tipo della quantità di macchine usate
5 uno studio di valutazione di un workflow innovativo sviluppato in ambito del progetto per l'identificazione su larga scala di aree che sono state soggette ad incendi

Attualmente sono in fase di sottomissione le pubblicazioni scientifiche correlate al progetto.

Se sei interessato alla tecnologia sviluppata dal progetto Earth in the Cloud contattaci usando il form in fondo alla pagina.

Earth in the Cloud