Machine Learning — Appunti interattivi

Appunti di Machine Learning

Le 21 lezioni del corso di Machine Learning dell’Università di Pisa in pagine da esplorare: formule spiegate simbolo per simbolo, 188 figure da manipolare, glossario e domande d’esame con traccia di risposta.

Tutte le lezioni

  1. Introduzione al Machine Learning — Che cos’è il ML, perché è una necessità, come funziona il corso e i richiami matematici che serviranno sempre.
  2. Il ML nei curricula della magistrale — Dove si colloca il corso nella Laurea Magistrale in Informatica e perché affiancarlo a Computational Mathematics.
  3. Concetti fondamentali del ML — Dati, task, modello, algoritmo, validazione: gli ingredienti di un sistema di ML, il bias induttivo e le funzioni di loss.
  4. Generalizzazione e validazione — Underfitting e overfitting sul fitting polinomiale, il VC-bound, hold-out e K-fold, matrice di confusione e curva ROC.
  5. Modelli lineari e K-nearest neighbors — Regressione e classificazione lineare con LMS, equazioni normali e discesa del gradiente, regolarizzazione; poi il K-NN, il classificatore di Bayes e la maledizione della dimensionalità.
  6. Reti neurali (parte 1) — dal neurone al MLP — Dal neurone biologico al Perceptron e al suo teorema di convergenza, le sigmoidi, il Multi-Layer Perceptron come espansione in basi adattiva e approssimatore universale.
  7. Note sulla backpropagation — La derivazione completa della backpropagation: il delta di ogni unità, la retropropagazione dall’uscita agli strati nascosti, il ciclo di addestramento e il suo costo lineare.
  8. Reti neurali (parte 2) — addestramento in pratica — Come si addestra davvero un MLP: inizializzazione, on-line/batch/mini-batch, learning rate e momentum, early stopping e weight decay, Cascade Correlation, input e output, il benchmark MONK.
  9. Validazione (parte 1) — model selection e assessment — Perché le stime sbagliano: model selection contro model assessment, il controesempio del target casuale, grid e random search, K-fold CV, campionamento e misure d’errore.
  10. Validazione (parte 2) — schemi formali — Rischio e rischio empirico, poi gli schemi rigorosi: model selection e model assessment con hold-out e K-fold CV, e come combinarli (TR–VL–TS, CV + test, double CV).
  11. Validazione (parte 3) — errori tipici e FAQ — Gli errori più frequenti: epoche fisse, early stopping nella CV, inizializzazioni casuali, selezione sequenziale, test usato per riprogettare, CV in overfitting; quale CV scegliere ed esempi.
  12. Statistical Learning Theory e VC-dimension — Shattering e VC-dimension (le rette nel piano ne hanno 3), VC-dim e numero di parametri, il VC-bound sul rischio e la Structural Risk Minimization su strutture annidate.
  13. Support Vector Machines — Margine massimo e support vector, il problema quadratico (primale e duale), soft margin e variabili slack, kernel e kernel trick, SVM per la regressione con la loss ε-insensitive.
  14. SVM e kernel — aspetti pratici e visione critica — Pregi e difetti delle SVM, i risultati sul problema delle due classi, il ruolo critico di C e dei parametri del kernel, i luoghi comuni da sfatare e i metodi kernel come misure di similarità.
  15. Bias-varianza ed ensemble — L’errore atteso sui training set scomposto in varianza, bias² e rumore, il ruolo di λ nel compromesso, poi gli ensemble: comitati, bagging e boosting, e cenni di feature selection.
  16. Reti neurali convoluzionali (CNN) — Connessioni locali, pesi condivisi, pooling e molti strati: la convoluzione 1D e 2D, il campo recettivo che cresce con la profondità, le reti di LeCun, MNIST, AlexNet e ImageNet.
  17. Deep learning — Perché molti strati: astrazione gerarchica, no-flattening e composizionalità; representation learning, autoencoder e transfer learning; rappresentazioni distribuite; le tecniche: ReLU, clipping, batch normalization, dropout.
  18. Reti neurali randomizzate — La casualità come risorsa: Random Forest, strati nascosti a pesi casuali mai addestrati, readout lineare in un passo, il teorema di Cover; pro e contro delle feature casuali.
  19. Apprendimento non supervisionato — K-means e SOM — Il clustering come quantizzazione vettoriale: celle di Voronoi, errore di quantizzazione, K-means on-line e batch; poi le Self-Organizing Map, che preservano la topologia e permettono di visualizzare i dati.
  20. Reti neurali ricorrenti (RNN) — Sequenze e trasduzioni, la memoria finita delle IDNN e lo stato delle unità ricorrenti, la Simple RNN, l’unfolding e la backpropagation nel tempo, poi transformer, Echo State Network e reti ricorsive.
  21. Apprendimento su dati strutturati e grafi — Dai vettori ai grafi: trasduzioni su grafi, message passing e Deep Graph Networks (GCN, NN4G, GNN, GraphESN), i problemi della profondità (over-smoothing, over-squashing, eterofilia) e i kernel per strutture.

Prerequisiti · Glossario · English

Appunti di Fabio Piscitelli — Machine Learning (654AA), prof. Alessio Micheli, Università di Pisa, a.a. 2026/27.