Corso - Implementazione del Deep Learning

1-Introduzione

• L'avvento del Deep Learning
• Deep Learning time line
• Cosa possono imparare le macchine?

2-Reti Neurali Semplici (NN)

• Il perceptron
• Il multilayer perceptron (MLP)
• Addestramento di un perceptron
• Principio di backpropagation
• Ottimizzatori per il Deep Learning
• Regolarizzazione delle reti neurali
• Tecniche di regolazione delle reti neurali

Laboratorio: implementazione di un MLP

3-Reti neurali convoluzionali (CNN)

• Perché questo tipo di rete
• Come funzionano le CNN
• Campi di ricezione locali
• Pesi condivisi
• Convoluzione - la nozione di Padding
• Convoluzione - Principio di calcolo
• Strati di sottocampionamento (pooling)
• Deep Convolutional Neural Networks (DCNN)
• Modelli di CNN - ImageNet
• Architetture DCNN
• Inception Module (Google)
• Transfer Learning
• La promessa delle Capsule Network

Laboratori:

• Implementazione di reti neurali convoluzionali per il riconoscimento di oggetti semplici
• Sviluppo di un modello profondo che utilizza il Transfer Learning e applicazione al riconoscimento di oggetti

 4- Autocodifica e reti neurali variazionali (AE e VAE)

• Autocodificatori generici: principi di funzionamento; scelta delle funzioni di codifica/decodifica; l'operazione di "deconvoluzione"; l'operazione di "deconvoluzione"; uso degli auto-encoder e metodi di apprendimento
• Autoencoder variazionali (Variational Autoencoder): perché i VAE; principi di funzionamento; modello di inferenza variazionale; funzione di perdita VAE; ottimizzazione: il trucco della ri-parametrizzazione; Esempio di implementazione di un VAE; diverse varianti comuni di VAE

Laboratorio: Sviluppo e applicazione di autocodificatori per il denoising e la generazione di variazioni naturali dei dati.

5- Reti Generative Avversarie (Generative Adversial Networks -GANs)

• L'esempio di Deep Fake Faces
• Tassonomia dei modelli generativi
• GANs, reti in cooperazione e competizione
• Modelli generativi e discriminativi
• I vantaggi delle GAN
• Problemi classici delle GAN
• Tassonomie delle GAN
• Principi di funzionamento delle GAN standard
• Principi di formazione
• Approccio formale all'addestramento
• GAN convoluzionali profonde come le DCGAN
• Focus su GAN di riferimento più avanzate
• Apprendimento progressivo di tipo PROGANS
• Apprendimento condizionale di tipo CGANS
• Cattura di caratteristiche distanti (SAGANS)
• Apprendimento ciclico, tipo CYCLEGANS
• Trasferimento di stile, tipo STYLEGANS
• Sintesi di modelli GANS

Laboratori:

• Implementazione di GAN convoluzionali profondi (DCGAN) su casi concreti
• StyleGAN applicato alla generazione di immagini fini ad alta risoluzione

 6-Reti Neurali Ricorrenti (Recurrent Neural Network -RNN, Transformers, ecc.)

• Introduzione
• Reti neurali ricorrenti semplici
• Le diverse topologie di RNN
• Evanescenza ed esplosione del gradiente
• La variante LSTM delle RNN
• Un'altra variante: RNN bidirezionali GRUL
• Elaborazione di sequenze molto lunghe
• L'approccio convoluzionale puro del modello Wavenet
• Approcci encoder-decoder
• Reti SequenceToSequence semplici (seq2sec)
• Addestramento di una rete seq2seq
• Inferenza di una rete seq2sec
• Il meccanismo di attenzione
• Scoring tra elementi
• Attenzione: allineamento dinamico dei pesi
• Attenzione: calcolo della funzione di allineamento
• L'architettura dirompente di Transformers
• L'approccio per chiavi, valori e query
• Illustrazione del calcolo dell'allineamento
• Un meccanismo di attenzione a più teste
• I vantaggi di un meccanismo di autoattenzione
• Architettura completa dei trasformatori
• Iperparametri del trasformatore di chiavi

Laboratorio: Costruzione di un agente conversazionale con un modello Transformer

7 - Reti neurali profonde ad autoapprendimento

• Deep Reinforcement Learning (DRL): principi operativi; quadro di Markov; nozioni di valore di stato e di policy; processo decisionale di Markov (MDP); risoluzione attraverso vari processi di apprendimento; tassonomie di algoritmi DRL
• Algoritmi profondi basati sul valore: principio di ottimalità di Bellman; il valore d'azione Q; Deep Learning del valore d'azione Q; principi di Deep Learning del valore d'azione Q; principi di funzionamento della rete DQN (deep Q network); approccio di esplorazione-sfruttamento; replay dell'esperienza; principio di addestramento della rete Q; variante DDQN
• Algoritmi deep basati sul valore: metodi del gradiente di policy; approccio REINFORCE: principi e formalismo; modellazione delle policy; teorema del gradiente di policy; algoritmo REINFORCE
• Algoritmi misti: variante REINFORCE con linea di base; altre varianti: ACTOR-CRITIC, A2C ; ALFAGO e sviluppi

Laboratorio: Implementazione di diverse reti di Deep Reinforcement Learning su casi concreti