Informazioni Generali

Il corso copre un'ampia varietà di argomenti avanzati riguardanti il data intensive computing, inclusi i file system distribuiti, i database NoSQL, l'elaborazione di dati batch e dati streaming ed i sistemi per il machine learning distribuito.

Risultati dell'apprendimento

Principi, paradigmi e tecnologie per la progettazione e gestione di sistemi a larga scala che processano ed analizzano Big Data.

CFU

6 CFU, 60 ore di didattica frontale distribuite in 4 ore a settimana

Prerequisiti

Il corso presuppone una conoscenza delle basi di dati, dei sistemi distribuiti e del Cloud computing.

Orario delle lezioni

Il corso si tiene nel secondo semestre. Orario valido dal 6/3/2023 al 15/6/2023

• Lunedì dalle 11:30 alle 13:15, aula C5 edificio didattica
• Giovedì dalle 11:30 alle 13:15, aula B8 edificio didattica

Classe virtuale

Microsoft Teams: link

---

Docenti

Valeria Cardellini
Tel.: 067259 7388
E-mail: (è necessario specificare [SABD] nell'oggetto della mail)
Ufficio: stanza D1-17, corpo D dell'edificio "Ingegneria dell'Informazione", primo piano.
Orario di ricevimento: in aula al termine delle lezioni oppure per appuntamento (contattare via email per concordare giorno e orario).

Matteo Nardelli
E-mail: (è necessario specificare [SABD] nell'oggetto della mail)
Orario di ricevimento: online, da concordare tramite email.

---

---

Materiale Didattico

• Testi consigliati
• Slide delle lezioni
• Articoli
• Video

Testi consigliati

Non c'è un libro di testo, in quanto il materiale si basa principalmente su articoli scientifici e documentazione dei framework e tool per Big Data.
Ma se sei interessata/o ad un testo, quelli elencati di seguito coprono una buona parte degli argomenti trattati nel corso:

• A. Bahga, V. Madisetti, Cloud Computing Solutions Architect: A Hands-On Approach, 2019.
• M. Kleppman, Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, O'Reilly, 2017.

Slide delle lezioni

Argomento	Lucidi	Ultima modifica
Organizzazione del corso	Organization.pdf	6/3/2023
Introduzione ai Big Data	IntroBD.pdf	9/3/2023
Sistemi per storage dei dati	Storage_DFS.pdf	9/3/2023
Hands-on Hadoop Distributed File System	Storage_HandsOn_HDFS.pdf scaletta Docker Image Repository scripts	16/3/2023
Data store NoSQL	Storage_NoSQL.pdf	23/3/2022
Hands-on NoSQL DB: Redis, MongoDB	Storage_HandsOn_NoSQL_KVD.pdf scaletta.txt scripts_redis.zip scripts_mongo.zip	2/4/2023
Introduzione a MapReduce e Spark	Intro_Hadoop+Spark.pdf	6/4/2023
MapReduce e Apache Hadoop	MapReduce&Hadoop.pdf	13/4/2023
Hands-on HBase and Neo4j	Storage_HandsOn_NoSQL_CG.pdf scaletta.txt scripts_hbase-neo4j.zip Code: HBase Client	17/4/2023
Database NewSQL e database per serie temporali	Storage_NewSQL&TSDB.pdf	20/4/2023
Hands-on InfluxDB	Storage_HandsOn_NoSQL_TSDB.pdf scaletta.txt scripts_influxdb.zip	20/4/2023
Apache Spark	Spark.pdf	15/5/2023
Hands-on Apache Spark and Spark SQL	Spark_HandsOn.pdf Code: Hands-On Spark	11/5/2023
Acquisizione dei dati	DataAcquisition.pdf	18/5/2023
Introduzione al Data Stream Processing	DSP_Intro.pdf	22/5/2023

Articoli

I seguenti articoli approfondiscono ed integrano gli argomenti trattati a lezione; la loro lettura è raccomandata.

When I talk to researchers, when I talk to people wanting to engage in entrepreneurship, I tell them that if you read research papers consistently, if you seriously study half a dozen papers a week and you do that for two years, after those two years you will have learned a lot. This is a fantastic investment in your own long term development. (Andrew Ng, Inside The Mind That Built Google Brain: On Life, Creativity, And Failure)

• Introduzione ai Big Data
• Storage: File System Distribuiti
• Storage: Data store NoSQL e database NewSQL
• MapReduce ed ecosistema di Hadoop

Introduzione ai Big Data

• T.H. Davenport and D.J. Patil, Data Scientist: The Sexiest Job of the 21st Century, Harvard Business Review, 2012.
• J. Heidrich, A. Trendowicz and C. Ebert, Exploiting Big Data's Benefits, in IEEE Software, 2016. [pdf]
• H.V. Jagadish et al., Big Data and Its Technical Challenges, Commun. ACM, vol. 57, no. 7, pp. 86-94, July 2014. [pdf]
• J. Wing, The Data Life Cycle, Harvard Data Science Review, 1(1), 2019. [html]

Storage: File System Distribuiti

• S. Ghemawat, H. Gobioff, and S.-T. Leung, The Google File System, In Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP '03), 2003.
• H. Li, Alluxio: A Virtual Distributed File System. University of California Berkeley, Technical Report No. UCB/EECS-2018-29, 2018.

Storage: Data store NoSQL e NewSQL

• K. Grolinger, W.A. Higashino, A. Tiwari and M. Capretz, Data management in cloud environments: NoSQL and NewSQL data stores, Journal of Cloud Computing, 2013.
• G. DeCandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman, A. Pilchin, S. Sivasubramanian, P. Vosshall, and W. Vogels, Dynamo: Amazon's highly available key-value store, In Proceedings of the 21st ACM SIGOPS Symposium on Operating Systems Principles (SOSP '07), 2007.
• F. Chang, J. Dean, S. Ghemawat, W.C. Hsieh, D.A. Wallach, M. Burrows, T. Chandra, A. Fikes, R.E. Gruber, Bigtable: A distributed storage system for structured data, In Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation (OSDI '06), 2006.
• A. Lakshman and P. Malik, Cassandra: a decentralized structured storage system, SIGOPS Oper. Syst. Rev., Vol. 44, No. 2, pp. 35-40, 2010.
• J. Corbett et al., Spanner: Google’s Globally-Distributed Database, Proc. OSDI '12, 2012.
• M. Stonebraker and A. Weisberg, The VoltDB main memory DBMS, 2013.

MapReduce ed ecosistema di Hadoop

• J. Dean and S. Ghemawat, MapReduce: simplified data processing on large clusters, In Proceedings of the 6th Symposium on Operating System Design and Implementation (OSDI '04), 2004.
• J. Leskovec, A. Rajaraman, and J. Ullman, Mining of Massive Datasets 3rd edition, chapter 2, 2020.

Spark

• M. Zaharia et al., Spark: Cluster Computing with Working Sets, In Proceedings of USENIX HotCloud’10, 2010.
• M. Zaharia et al., Resilient Distributed Datasets: A fault-tolerant abstraction for in-memory cluster computing, In Proceedings of USENIX NSDI’12, 2012.
• M. Zaharia et al., Apache Spark: A Unified Engine For Big Data Processing, In Commun. ACM, Nov. 2016.
• M. Armbrust et al., Spark SQL: Relational data processing in Spark, In Proceedings of ACM SIGMOD’15, 2015.

Data Acquisition

• J. Kreps, N. Narkhede, J. Rao, Kafka: a Distributed Messaging System for Log Processing, In Proceedings of NetDB '11, 2011.

Data Stream Processing

• T. Akidau, Streaming 101: The world beyond batch, 2015.
• A. Margara et al., A Model and Survey of Distributed Data-Intensive Systems, arXiv, 2023.
• M. Fragkoulis et al., A Survey on the Evolution of Stream Processing Systems, arXiv, 2023.
• P. Carbone et al., Apache Flink: Stream and batch processing in a single engine, In Bulletin of IEEE Computer Society Technical Committee on Data Engineering, 2015.
• P. Carbone et al., State management in Apache Flink, In Proc. VLDB Endow., 2017.
• M. Hirzel, R. Soulé, S. Schneider, B. Gedik, R. Grimm, A catalog of stream processing optimizations, ACM Comput. Surv., 2014.
• V. Cardellini, F. Lo Presti, M. Nardelli, G. Russo Russo, Run-time adaptation of data stream processing systems: The state of the art, ACM Computing Surveys, 2022.

Video

Video di presentazioni utili per approfondire alcuni argomenti del corso.

• Data for Good: Ensuring the Responsible Use of Data to Benefit Society, Jeannette Wing
• From BI to Big Data - Architecture, Ethics, and Economics, Barry Devlin
• NoSQL Distilled to an hour, Martin Fowler
• Making Big Data Processing Simple with Spark, Matei Zaharia
• Building and Running Distributed Systems using Apache Mesos, Benjamin Hindman (one of the creators of Apache Mesos)

---

Programma preliminare

• Introduction to Big Data: issues and challenges
• Data storage: distributed file systems, NoSQL data stores, NewSQL databases, time series databases
  • Case studies: HDFS, Dynamo, Redis, MongoDB, Bigtable, HBase, Cassandra, and Neo4j
  • Lab: HDFS, Redis, MongoDB, HBase, Neo4j, InfluxDB
• Systems for data acquisition and ingestion: pub/sub, message queues, collection systems
  • Case studies: Kafka, Flume, and NiFi
• Systems for batch processing
  • Case studies: Hadoop, Spark, and Spark SQL
  • Lab: Hadoop, Spark, Spark SQL
• Systems for stream processing
  • Case studies: Storm, Flink, Spark Streaming
  • Lab: Storm, Spark Streaming, Kafka Streams
• Batch and stream processing in the Cloud
• Frameworks for cluster resource management
  • Case study: Mesos
• Distributed and federated machine learning
  • Case studies: Spark MLlib, TensorFlow distributed

---

Esami

• Modalità di esame
• Appelli

Modalità di esame

1. 2 progetti assegnati durante il corso.
   Progetti da svolgere preferibilmente in gruppo composto da 2 o 3 studenti (singolarmente se non possibile altrimenti).
   Le tracce sono pubblicate sul canale Teams del corso.
2. Prova orale sul programma del corso.

Appelli

• I appello sessione estiva
Prova orale: venerdì 23 giugno 2023 ore 10:00, aula B7

• II appello sessione estiva
Prova orale: giovedì 20 luglio 2023 ore 10:00, aula B6

• I appello sessione autunnale


• II appello sessione autunnale


• I appello sessione invernale


• II appello sessione invernale