Reinforcement Learning: cos’è e come le macchine imparano per prova ed errore

Marzo 2016, seconda partita tra AlphaGo e il campione di Go Lee Sedol. Alla mossa 37 il programma gioca una posizione che nessun umano avrebbe scelto. I commentatori pensano a un errore. Era invece una mossa geniale, che nessuno aveva mai insegnato alla macchina. AlphaGo l’aveva scoperta da sola, giocando milioni di partite contro se stessa.

Il reinforcement learning è proprio questo, un tipo di machine learning in cui un agente impara ad agire in un ambiente ricevendo premi o penalità. Non riceve esempi già etichettati, ma scopre da solo quali azioni portano al risultato migliore, esattamente come un bambino che impara per tentativi. L’obiettivo è massimizzare la ricompensa totale nel tempo.

Nel nostro articolo sul machine learning il reinforcement learning compare come uno dei tre grandi paradigmi. Qui entriamo dentro quel paradigma, per capire cos’è davvero, come funziona, quali metodi usa e dove sta già cambiando il mondo. Se senti che è il tuo campo, il nostro Team Admissions può aiutarti a capire quale percorso seguire.

Cos’è il reinforcement learning: definizione e idea di base

Il reinforcement learning, in italiano apprendimento per rinforzo, è un modo di addestrare una macchina che assomiglia più all’esperienza che allo studio. Non impara da una risposta corretta fornita in anticipo, ma dalle conseguenze delle proprie azioni.

Imparare dal premio e dalla penalità, non dagli esempi

Immagina di addestrare un cane. Non gli mostri mille foto del comportamento giusto, gli dai un premio quando fa la cosa corretta. Un agente di reinforcement learning ragiona allo stesso modo. Prova un’azione, riceve un segnale positivo o negativo, e regola il proprio comportamento di conseguenza.

Dove si colloca rispetto agli altri tipi di machine learning

Nel supervised learning il modello impara da esempi con la risposta corretta. Nell’unsupervised learning cerca strutture nei dati non etichettati. Nel reinforcement learning, invece, non esiste una risposta corretta data in anticipo. L’agente sperimenta, sbaglia e migliora sulla base del feedback dell’ambiente.

Tipo di machine learning	Come impara	Esempio
Supervised learning	Da esempi con risposta corretta	Riconoscere lo spam nelle email
Unsupervised learning	Trovando strutture nei dati non etichettati	Segmentare i clienti di un e-commerce
Reinforcement learning	Da premi e penalità, per prova ed errore	Un agente che impara a giocare a Go

Come funziona: agente, ambiente, azione e ricompensa

Per capire il reinforcement learning bastano quattro parole chiave. Tutto il resto è una variazione su questo schema di base.

Il ciclo di apprendimento passo dopo passo

L’agente è il sistema che prende decisioni. L’ambiente è il contesto in cui agisce e che risponde alle sue azioni. La ricompensa è il segnale numerico che indica quanto è stata buona un’azione. Il ciclo è semplice, l’agente osserva lo stato, sceglie un’azione, riceve una ricompensa e passa a uno stato nuovo. Poi ripete, migliaia o milioni di volte.

Policy, funzione valore ed esplorazione

La strategia che l’agente segue per scegliere le azioni si chiama policy. La funzione valore stima quanto conviene, sul lungo periodo, trovarsi in un certo stato. L’agente aggiorna di continuo la propria policy per ottenere nel tempo la ricompensa più alta possibile. È qui che il deep learning, spiegato nel nostro approfondimento sul deep learning, entra in gioco per gestire problemi complessi.

I principali metodi del reinforcement learning

Esistono diverse famiglie di algoritmi, ma due approcci raccolgono la maggior parte dei metodi usati oggi.

Metodi basati sul valore e metodi basati sulla policy

I metodi basati sul valore imparano a stimare quanto vale ogni azione in ogni stato, e poi scelgono quella con il valore più alto. I metodi basati sulla policy ottimizzano invece direttamente la strategia di comportamento, senza passare dalla stima del valore. Ognuno ha punti di forza a seconda del problema.

Deep reinforcement learning: quando entrano in gioco le reti neurali

Quando gli stati possibili sono troppi per essere elencati, come nei pixel di un videogioco, si usa il deep reinforcement learning. Le reti neurali profonde approssimano policy e funzione valore, permettendo all’agente di gestire ambienti enormi. È la tecnica che ha reso possibili i risultati più spettacolari degli ultimi anni.

Il problema esplorazione contro sfruttamento

Ogni agente di reinforcement learning affronta un dilemma di fondo, lo stesso che vivi quando scegli un ristorante.

Quando conviene provare qualcosa di nuovo e quando sfruttare ciò che funziona

Vai sempre nel locale che già conosci e ti piace, oppure ne provi uno nuovo che potrebbe essere migliore? Sfruttare ciò che funziona dà risultati sicuri, esplorare può portare a scoperte più grandi ma con qualche rischio. Un buon agente bilancia le due cose, esplora molto all’inizio e sfrutta di più man mano che impara.

Vuoi vedere dal vivo come si costruiscono sistemi intelligenti in un campus che vive di innovazione? Partecipa all’Open Day e passa una giornata tra le nostre aule.

Dove il reinforcement learning cambia il mondo oggi

Le applicazioni del reinforcement learning sono ormai concrete e diffuse in settori molto diversi tra loro.

Robotica, guida autonoma, energia e finanza

Nella robotica industriale gli agenti imparano a manipolare oggetti e a muoversi nei magazzini. Nella guida autonoma aiutano a prendere decisioni in tempo reale. In campo energetico, DeepMind ha usato il reinforcement learning per ridurre l’energia spesa nel raffreddamento dei data center di Google. In finanza guida strategie di gestione dei portafogli.

Videogiochi e allineamento dei grandi modelli linguistici

Nei videogiochi il reinforcement learning ha portato programmi a superare i campioni umani, da AlphaGo in poi. Ma la sua applicazione oggi più famosa è un’altra. La tecnica chiamata apprendimento per rinforzo da feedback umano, o RLHF, è ciò che ha trasformato modelli grezzi come GPT-3 negli assistenti utili e conversazionali che usiamo, incluso ChatGPT e GPT-4.

Le professioni legate al reinforcement learning

È un’area avanzata dell’AI e cerca profili con solide basi tecniche.

Machine Learning Engineer, AI Researcher e Robotics Engineer

Il Machine Learning Engineer costruisce e mette in produzione i modelli. In Italia un profilo junior parte spesso da 30.000-38.000 € lordi l’anno. L’AI Researcher lavora sui metodi e sugli algoritmi, con retribuzioni mid-level intorno ai 45.000-60.000 €. Il Robotics Engineer applica il reinforcement learning al movimento e al controllo delle macchine, e nei ruoli senior internazionali si superano i 70.000 €.

Per queste professioni servono solide basi matematiche di probabilità e statistica, conoscenza degli algoritmi di apprendimento, padronanza di Python e dei framework di deep learning, oltre alla comprensione dei concetti di policy, funzione valore ed esplorazione.

Costruisci le tue competenze in AI nel Campus di H-FARM

Il reinforcement learning è una delle frontiere più affascinanti dell’intelligenza artificiale, e per padroneggiarlo servono basi solide. In H-FARM College accompagniamo lo studente da quelle basi fino ai progetti applicati.

La Laurea Triennale in AI & Data Science costruisce le fondamenta di matematica, statistica, programmazione e machine learning, per poi affrontare reti neurali e sistemi intelligenti su dati reali. Chi vuole portare queste tecnologie nelle strategie aziendali può guardare al master AI for Business Transformation, che unisce competenze tecniche e visione di business.

Studiare qui significa lavorare su sfide concrete dentro un ecosistema che vive di innovazione e imprenditorialità, con una community internazionale e un dato che parla da solo, il 92% dei nostri studenti trova lavoro entro sei mesi dalla laurea. Pronto a costruire sistemi che imparano da soli? La Laurea in AI & Data Science è il punto di partenza giusto per costruire la tua carriera nel nostro Campus..

FAQ

domande frequenti sul Reinforcement Learning