Università degli Studi di Roma "Tor Vergata" · DICII

Informazioni Generali

Link per Microsoft Teams

Risultati dell'apprendimento

Al termine del corso lo studente acquisirà le conoscenze e i concetti alla base dei sistemi di apprendimento automatico ed in particolare i modelli fondamentali per la classificazione e la regressione, le architetture basate su reti neurali e le principali tecniche di reinforcement learning.

CFU

9 CFU, 90 ore di didattica frontale distribuite in 6 ore a settimana.

Prerequisiti

Il corso presuppone una buona conoscenza dei concetti fondamentali di analisi matematica, algebra lineare, calcolo delle probabilità e della programmazione in linguaggio Python.

Modalità di svolgimento delle lezioni

La didattica sarà svolta esclusivamente in presenza.
La classe virtuale su Teams sarà utilizzata per condividere il materiale del corso e informazioni organizzative.

Orario delle lezioni

Orario (dal 23/9/2024)
  • Martedì dalle 11:30 alle 13:15, aula C2
  • Mercoledì dalle 9:30 alle 11:15, aula C2
  • Venerdì dalle 11:30 alle 13:15, aula B16

Docenti

Gabriele Russo Russo (6 CFU)
E-mail: img (aggiungere "[ML]" nell'oggetto della mail)
Ufficio: stanza D1-15, corpo D dell'edificio "Ingegneria dell'Informazione", primo piano.
Ricevimento: su appuntamento


Francesco Lo Presti (3 CFU)
E-mail: img (aggiungere [ML] nell'oggetto della mail)
Ufficio: stanza D1-17, corpo D dell'edificio "Ingegneria dell'Informazione", primo piano.
Orario di ricevimento: da definire

Avvisi

  • 21 settembre 2024 - Durante il corso, il materiale didattico e gli avvisi "urgenti" saranno caricati sul canale Teams.
  • 21 settembre 2024 - Il corso avrà inizio martedì 24 settembre. Si raccomanda di effettuare l'iscrizione al corso tramite Delphi.

Testi consigliati

Per i concetti e le tecniche di base:

Su deep learning e reti neurali:

Per gli aspetti implementativi:

Programma

  • Tecniche base di apprendimento supervisionato
    • K-Nearest Neighbours
    • Alberi di decisione
    • Regressione lineare e logistica
    • Bayesian Learning
  • Tecniche base di apprendimento non supervisionato
    • Clustering con K-Means
    • PCA
  • Reti neurali e deep learning
    • Concetti fondamentali e tecniche di addestramento
    • Reti convoluzionali
    • Autoencoder
    • Reti ricorrenti (cenni)
    • Transformer (cenni)
  • Introduzione al Reinforcement Learning

Articoli scientifici

Alcuni articoli di cui si suggerisce la lettura:
  • History - W. S. McCulloch, W. H. Pitts: A Logical Calculus of the Ideas Immanent in Nervous Activity. The Philosophy of Artificial Intelligence 1990: 22-39 (pdf)
  • Backpropagation - D.E. Rumelhart, G. Hinton, R. J. Williams: Learning representations by back-propagating errors. Nature, 323 (6088): 533–536 (1986) (pdf)
  • Universal Approximation Theorem - G. Cybenko: Approximation by superpositions of a sigmoidal function. Math. Control. Signals Syst. 2(4): 303-314 (1989) (pdf)
  • Towards Deep learning - G. E. Hinton, S. Osindero, Y. W. Teh: A Fast Learning Algorithm for Deep Belief Nets. Neural Comput. 18(7): 1527-1554 (2006) (pdf)
  • N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov: Dropout: a simple way to prevent neural networks from overfitting. J. Mach. Learn. Res. 15(1): 1929-1958 (2014) (pdf)
  • AdaGrad - J. C. Duchi, E. Hazan, Y. Singer: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. COLT 2010: 257-269 (pdf)
  • D. P. Kingma, J. Ba: Adam: A Method for Stochastic Optimization. ICLR (Poster) 2015 (pdf)
  • D. Choi, C. J. Shallue, Z. Nado, J. Lee, C. J. Maddison, G. E. Dahl: On Empirical Comparisons of Optimizers for Deep Learning. CoRR abs/1910.05446 (2019) (pdf)
  • Glorot Initialization - X. Glorot, Y. Bengio: Understanding the difficulty of training deep feedforward neural networks. AISTATS 2010: 249-256 (pdf)
  • He Initialization - K. He, X. Zhang, S. Ren, J. Sun: Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. ICCV 2015: 1026-1034 (pdf)
  • S. Ioffe, C. Szegedy: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. ICML 2015: 448-456 (pdf)
  • LeNet - Y. LeCun, L. Bottou, Y. Bengio, P. Haffner: Gradient-based learning applied to document recognition. Proc. IEEE 86(11): 2278-2324 (1998) (pdf)
  • AlexNet - A. Krizhevsky, I. Sutskever, G. E. Hinton: ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012: 1106-1114 (pdf)
  • GoogLeNet - C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. E. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich: Going deeper with convolutions. CVPR 2015: 1-9 (pdf)
  • ResNet - K. He, X. Zhang, S. Ren, J. Sun: Deep Residual Learning for Image Recognition. CVPR 2016: 770-778 (pdf)
  • YOLO - J. Redmon, S. K. Divvala, R. B. Girshick, A. Farhadi: You Only Look Once: Unified, Real-Time Object Detection. CVPR 2016: 779-788 (pdf)
  • J. Long, E. Shelhamer, T. Darrell: Fully convolutional networks for semantic segmentation. CVPR 2015: 3431-3440 (pdf)

Esami

Modalità di esame

L'esame si compone di:

  • Prova scritta;
  • Prova orale;
  • Progetto.

Appelli

Per la prenotazione alle prove d'esame, usare il servizio di prenotazione su Delphi.

Date prove scritte:

Da definire
  • I appello sessione invernale
    Venerdì 24 gennaio 2025, ore 10:00 aula B3 edificio Didattica.
  • II appello sessione invernale
    Mercoledì 12 febbraio 2025, ore 10:00 aula B3 edificio Didattica.