Informazioni Generali
Il corso copre un'ampia varietà di argomenti avanzati riguardanti il data intensive computing, inclusi i file system distribuiti, i database NoSQL, l'elaborazione di dati batch e streaming ed i sistemi per il machine learning distribuito.
Pagina su DidatticaWeb
Link per Microsoft Teams
CFU
6 CFU, 60 ore di didattica frontale distribuite in 4 ore a settimana.Risultati dell'apprendimento
Principi, paradigmi e tecnologie per la progettazione e gestione di sistemi a larga scala che processano ed analizzano Big Data.Prerequisiti
Il corso presuppone una conoscenza delle basi di dati, dei sistemi distribuiti e del Cloud computing.Modalità di svolgimento delle lezioni
La didattica è svolta esclusivamente in presenza.
La classe virtuale su Teams è utilizzata per condividere il materiale del corso e per le informazioni.
Orario delle lezioni
Orario valido dal 2/3/2026 al 12/6/2026 (secondo semestre)- Lunedì dalle 11:30 alle 13:15, aula C5 edificio didattica
- Giovedì dalle 11:30 alle 13:15, aula B8 edificio didattica
Docenti
Valeria CardelliniTel.: 067259 7388
E-mail:
(è necessario specificare [SABD] nell'oggetto della mail) Ufficio: stanza D1-17, corpo D dell'edificio "Ingegneria dell'Informazione", primo piano.
Orario di ricevimento: in aula al termine delle lezioni oppure per appuntamento (contattare via email per concordare giorno e orario).
Matteo Nardelli
E-mail: 
(è necessario specificare [SABD] nell'oggetto della mail)
Orario di ricevimento: online, da concordare tramite email.
Materiale Didattico
Testi consigliati
Non c'è un libro di testo, in quanto il materiale si basa principalmente su articoli scientifici e documentazione dei framework e tool per Big Data.Ma se sei interessata/o ad un testo, i seguenti coprono una buona parte degli argomenti trattati nel corso:
- M. Kleppman, Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, O'Reilly, 2017.
- J. Reis, M. Housley, Fundamentals of Data Engineering: Plan and Build Robust Data Systems 1st Edition, O'Reilly, 2022.
Slide delle lezioni
| Argomento | Lucidi | Ultima modifica |
|---|---|---|
| Organizzazione del corso | Organization.pdf | 7/3/2026 |
| Introduzione ai Big Data | IntroBD.pdf | 7/3/2026 |
| Sistemi per storage dei dati | Storage_DFS.pdf | 6/3/2026 |
Articoli
I seguenti articoli approfondiscono ed integrano gli argomenti trattati a lezione; la loro lettura è raccomandata.When I talk to researchers, when I talk to people wanting to engage in entrepreneurship, I tell them that if you read research papers consistently, if you seriously study half a dozen papers a week and you do that for two years, after those two years you will have learned a lot. This is a fantastic investment in your own long term development. (Andrew Ng, Inside The Mind That Built Google Brain: On Life, Creativity, And Failure)
Introduzione ai Big Data
- J. Wing, The Data Life Cycle, Harvard Data Science Review, 1(1), 2019.
- M. Armbrust1, A. Ghodsi, R. Xin, M. Zaharia, Lakehouse: A new generation of open platforms that unify data warehousing and advanced analytics, CIDR '21, 2021.
Storage: File System Distribuiti e Object Store
- S. Ghemawat, H. Gobioff, and S.-T. Leung, The Google File System, In Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP '03), 2003.
- D. Hildebrand and D. Serenyi, Colossus under the hood: a peek into Google’s scalable storage system, 2021.
- H. Li, Alluxio: A Virtual Distributed File System. University of California Berkeley, Technical Report No. UCB/EECS-2018-29, 2018.
- S. Noghabi et al., Ambry: LinkedIn's Scalable Geo-Distributed Object Store, Proceedings of the 2016 International Conference on Management of Data (SIGMOD '16), 2016.
Video
Video di presentazioni utili per approfondire alcuni argomenti del corso.- Data for Good: Ensuring the Responsible Use of Data to Benefit Society, Jeannette Wing
- From BI to Big Data - Architecture, Ethics, and Economics, Barry Devlin
- Introduction to NoSQL, Martin Fowler
- Making Big Data Processing Simple with Spark, Matei Zaharia
- Apache NiFi 101 | How to get started with Apache NiFi, Pierre Villard
Programma
- Introduction to Big Data: issues and challenges
- Data storage: distributed file systems, NoSQL data stores, NewSQL databases, time series databases
- Case studies: GFS, HDFS, Ozone, Ambry, Dynamo, Bigtable, Cassandra, DynamoDB, Spanner, VoltDB
- Lab: HDFS, Redis, MongoDB, HBase, Neo4j, InfluxDB, CockroachDB
- Systems for data ingestion and data pipeline management: pub/sub, dataflow and workflow management
- Case studies: Kafka, Pulsar, NiFi, AirFlow
- Systems for batch processing
- Case studies: Hadoop, Spark, Spark SQL, Spark MLlib
- Lab: Spark, Spark SQL
- Systems for stream processing
- Case studies: Storm, Flink
- Lab: Flink, Spark Streaming, Kafka Streams
- Challenges in DSP
- Runtime deployment in DSP (optional)
- Batch and stream processing in the Cloud
- Distributed and federated machine learning
- Case studies: Spark MLlib, TensorFlow distributed
Esami
Modalità di esame
- 2 progetti assegnati durante il corso: il primo su batch processing, il secondo su data stream processing.
Progetti da svolgere preferibilmente in gruppo composto da 2 o 3 studenti (singolarmente se non possibile altrimenti).
- Prova orale sul programma del corso.
Appelli
- I appello sessione estiva
- II appello sessione estiva
- I appello sessione autunnale
- II appello sessione autunnale
- I appello sessione invernale
- II appello sessione invernale