În octombrie 2017, DeepMind a pornit un program de Go care nu văzuse nicio partidă jucată de oameni. Știa doar regulile. În trei zile a jucat 4,9 milioane de partide cu el însuși, apoi a bătut cu 100 la 0 versiunea care îl învinsese pe campionul mondial cu un an înainte.
Nimeni nu i-a arătat o mutare bună. A descoperit singur ce înseamnă „bună", din consecințe.
Ăsta e reinforcement learning, și e singurul tip de machine learning care funcționează așa: nu învață din exemple, ci din ce i se întâmplă după ce acționează.
Ce este Reinforcement Learning
Reinforcement Learning (RL) este o metodă de Machine Learning în care un agent învață să ia decizii prin interacțiune directă cu un mediu, primind recompense când face alegeri bune și penalizări când greșește.
Componentele de bază
Agent: Sistemul care învață și ia decizii. Gândește-te la el ca la un jucător într-un joc sau la un robot care explorează un labirint.
Mediu: Lumea în care acționează agentul. Poate fi un joc de șah, un simulator de condus sau lumea reală pentru un robot fizic.
Acțiuni: Alegerile pe care le poate face agentul. În șah: mutarea unei piese. Pentru un robot: mers înainte, stânga, dreapta.
Recompense: Feedback-ul pe care îl primește agentul. Pozitiv când face ceva bine (câștigă un joc, atinge ținta), negativ când greșește (pierde, se lovește de un perete).
Stare: Situația curentă în care se află agentul. Poziția pieselor pe tablă sau locația robotului în cameră.
Ciclul învățării
Agentul observă starea curentă, alege o acțiune, mediul se schimbă, agentul primește o recompensă și ajunge într-o stare nouă. Apoi ciclul se repetă. Cu fiecare iterație, agentul învață ce acțiuni tind să ducă la recompense mai mari pe termen lung.
Pentru context despre cum se încadrează RL în învățarea automată, am scris separat despre miturile domeniului.
Cum funcționează Reinforcement Learning
Să folosim analogia învățării mersului cu bicicleta pentru a înțelege procesul pas cu pas.
Pasul 1: Explorare inițială
La început, agentul nu știe nimic. Copilul se urcă pe bicicletă și încearcă diverse lucruri: apasă pedalele, mișcă ghidonul, se clatină. Majoritatea încercărilor duc la cădere (recompensă negativă). Sistemul RL face la fel – încearcă acțiuni aleatorii la început.
Pasul 2: Primirea feedback-ului
După fiecare acțiune, mediul oferă feedback. Când copilul ține ghidonul drept și pedalează echilibrat, rămâne pe bicicletă câteva secunde (recompensă pozitivă). Când se clatină prea mult, cade (recompensă negativă). Feedback-ul este instant și clar.
Pasul 3: Ajustare bazată pe experiență
Agentul nu își propune doar să maximizeze recompensa imediată, ci recompensa totală pe termen lung. De exemplu, la început poate fi mai sigur să mergi încet, dar pe termen lung, viteza mai mare duce la echilibru mai bun. Sistemul învață să facă compromisuri între siguranță imediată și performanță pe termen lung.
Pasul 4: Optimizare treptată
Cu fiecare încercare, agentul își rafinează strategia. După o mie de căzături, copilul știe exact cum să țină ghidonul, cum să echilibreze greutatea, cum să pedaleze. Similar, un agent RL își îmbunătățește treptat "politica" – regulile după care decide ce acțiune să ia în fiecare situație.
Explorare vs exploatare (exploration vs exploitation)
O provocare cheie în RL este balanța între explorare (încercare de lucruri noi, poate mai bune) și exploatare (folosirea a ceea ce știi deja că funcționează). Prea multă explorare și pierzi timp cu acțiuni proaste. Prea multă exploatare și rămâi blocat în soluții suboptime, ratând strategii mai bune.
Exemple clasice și ușor de înțeles
Robotul care învață să meargă
Imaginează-ți un robot cu patru picioare care nu știe cum să meargă. La început, face mișcări haotice – picioarele se împletesc, robotul cade. Fiecare pas făcut fără să cadă aduce o recompensă mică. Ajungerea la o destinație aduce o recompensă mare. Căderea aduce o penalizare.
După mii de încercări în simulare, robotul descoperă singur mersul eficient. Nu i-a spus nimeni "mută piciorul stâng înainte, apoi pe cel drept" – a descoperit singur ce mișcări funcționează prin experimentare.
Jocul de șah
Un sistem RL învață șah jucând împotriva lui însuși milioane de partide. La început, face mutări aleatorii. Când câștigă o partidă, toate mutările din acea partidă primesc un credit pozitiv (erau parte dintr-o strategie câștigătoare). Când pierde, mutările primesc credit negativ.
După milioane de partide, sistemul descoperă singur strategii complexe – nu prin memorarea mutărilor din cărți de șah, ci prin experimentare pură.
Economisirea energiei în clădiri
Un sistem RL controlează aerul condiționat într-o clădire. Obiectivul: menține temperatura confortabilă folosind cât mai puțin energie. Acțiunile posibile: crește temperatura, scade, pornește ventilatoarele, etc.
Recompensele: pozitive când temperatura e ideală și consumul e mic, negative când temperatura e prea caldă/rece sau consumul e mare. Sistemul învață singur când să precalcească înainte de orele de vârf, când să folosească aerul exterior, când să oprească sistemul – toate prin experimentare în condiții reale.
Unde este folosit Reinforcement Learning în practică
Jocuri și competiții
Sistemele RL au învățat să joace Go, șah, poker și jocuri video la nivel profesionist. AlphaGo a bătut campionul mondial la Go în 2016, învățând din milioane de partide jucate împotriva lui însuși. Aceste sisteme au descoperit strategii pe care jucătorii umani nu le-au folosit în mii de ani de istorie a jocului.
Robotică
Roboți industriali învață prin RL să prindă obiecte, să navigheze prin depozite sau să asambleze componente. Un robot care învață să prindă obiecte fragile experimentează mii de încercări în simulare, descoperind singur câtă forță să aplice și cum să ajusteze prinderea pentru fiecare obiect.
Vehicule autonome
Mașinile autonome folosesc RL pentru a învăța decizii complexe: când să schimbe banda, cum să navigheze în trafic dens, când să frâneze. Sistemul primește recompense pentru condus sigur și eficient, penalizări pentru manevre periculoase.
Sisteme de recomandare
Platforme ca YouTube sau TikTok folosesc RL pentru a decide ce conținut să îți arate. Sistemul "experimentează" cu diferite videoclipuri, observă cât timp rămâi să vizionezi și își ajustează recomandările. Recompensa e engagement-ul tău – cât timp petreci pe platformă.
Optimizare în data centers
Google folosește RL pentru a reduce consumul energetic în centrele de date. Sistemul controlează sistemele de răcire, învățând singur când să crească/scadă puterea, bazându-se pe temperatură, vreme, încărcare – descoperind pattern-uri prea complexe pentru reguli programate manual.
Finanțe și trading
Sisteme RL învață strategii de trading prin simulare, experimentând cu cumpărări/vânzări și primind recompense bazate pe profit. Învață să facă compromisuri între risc și câștig pe termen lung.
Supervised vs unsupervised vs reinforcement learning
Reinforcement learning vs supervised learning
În Supervised Learning, sistemul învață din exemple cu răspunsul corect atașat. E ca și cum ai învăța matematică dintr-o carte cu toate soluțiile în spate – vezi problema, vezi soluția, înveți să asociezi cele două.
RL este diferit: Nu îți spune nimeni care e răspunsul corect pentru fiecare situație. Doar primești feedback dacă rezultatul final a fost bun sau rău. E ca diferența dintre a avea un profesor care îți verifică fiecare exercițiu versus a juca un joc și a afla doar la final dacă ai câștigat.
Reinforcement learning vs unsupervised learning
Unsupervised Learning explorează date și descoperă grupări sau structuri, fără obiectiv clar. E ca și cum ai aranja cărți într-o bibliotecă găsind singur categorii logice.
RL este diferit: Are întotdeauna un obiectiv clar – maximizarea recompenselor. Nu explorează date pasiv, ci acționează activ și învață din consecințe. E diferența dintre a observa cum joacă alții șah și a juca tu însuți, învățând din victorii și înfrângeri.
Diferența cheie: secvență și consecințe
RL învață prin secvențe de decizii unde fiecare acțiune influențează situațiile viitoare. Dacă faci o mișcare proastă la șah acum, efectele se vor vedea multe mutări mai târziu. Supervised și Unsupervised Learning lucrează de obicei cu exemple independente – clasificarea unui email ca spam nu afectează următorul email.
Pentru context mai larg despre tipurile de AI, vezi articolul nostru despre ce este inteligența artificială.
Greșeli comune despre Reinforcement Learning
"RL poate învăța orice doar prin încercare și eroare"
Nu chiar. RL funcționează excelent când poți simula milioane de încercări rapid și ieftin (jocuri, simulări). În lumea reală, unde fiecare "încercare" costă timp și bani (un robot real care învață să meargă prin căzături repetate), devine impractică fără simulare.
"RL nu are nevoie de date"
Greșit. RL are nevoie de cantități uriașe de experiență – milioane de iterații. Diferența e că "datele" sunt generate de agent prin experimentare, nu colectate și etichetate manual. Dar volumul de experiență necesară e adesea mai mare decât în Supervised Learning.
"RL învață ca un om"
Nu exact. Oamenii pot învăța concepte complexe din câteva exemple. Un sistem RL poate avea nevoie de un milion de încercări pentru a învăța ceva ce un copil învață în zece. RL compensează prin volum – poate experimenta mai mult într-o oră decât un om într-o viață.
"Recompensa spune sistemului ce să facă"
Nu. Recompensa spune sistemului ce să obțină, nu cum să obțină. E diferența dintre "câștigă jocul" (obiectiv) și "mută pionul aici" (instrucțiune). RL descoperă singur "cum", primind doar feedback despre "ce".
De reținut
-
Reinforcement Learning învață prin interacțiune directă cu un mediu, primind recompense pentru acțiuni bune și penalizări pentru greșeli – exact ca învățarea mersului cu bicicleta.
-
Componentele cheie sunt agentul (care învață), mediul (unde acționează), acțiunile (alegerile posibile) și recompensele (feedback-ul primit).
-
Diferit de celelalte tipuri: Supervised Learning are răspunsuri corecte pentru fiecare exemplu, Unsupervised descoperă pattern-uri fără obiectiv clar, iar RL învață o secvență de decizii pentru a maximiza recompensa pe termen lung.
-
Aplicații practice includ roboți care învață să meargă, sisteme care joacă jocuri la nivel profesionist, optimizare energetică și vehicule autonome.
-
Necesită multe încercări – de aceea funcționează cel mai bine în simulări unde poți genera rapid milioane de experiențe, nu în situații unde fiecare încercare e costisitoare.
Unde se oprește
Partea care lipsește din poveștile cu AlphaGo: Go are reguli fixe, stare completă vizibilă și un criteriu de câștig fără ambiguitate. Poți juca 4,9 milioane de partide într-un weekend pentru că nu costă nimic să pierzi.
Lumea reală n-are niciuna dintre astea. Un robot care cade își rupe ceva. O mașină care greșește omoară pe cineva. Un algoritm de trading care explorează pierde bani reali. De asta reinforcement learning-ul domină jocurile și simulările, și avansează încet peste tot în altă parte — nu pentru că e slab, ci pentru că metoda lui de învățare presupune greșeli ieftine.
Mai e o capcană pe care RL o împarte cu restul: un agent care a învățat perfect simularea poate fi inutil în realitate, din același motiv pentru care un model supraantrenat merge pe datele vechi și cade pe cele noi.
Părerea mea: când cineva îți propune RL pentru o problemă de business, prima întrebare nu e despre algoritm. E „unde simulăm, și cât de bine seamănă simularea cu realitatea". Dacă răspunsul e vag, proiectul o să fie scump.
Cele trei tipuri de învățare se compară mai pe larg în supervised vs unsupervised, iar contextul mai larg e în învățarea automată.
Întrebări frecvente
Ce este reinforcement learning?
Metoda prin care un agent învață să ia decizii interacționând cu un mediu: încearcă o acțiune, primește o recompensă sau o penalizare, și își ajustează comportamentul. Nu primește exemple cu răspunsuri corecte, ci descoperă singur ce funcționează.
Care e diferența dintre reinforcement learning și supervised learning?
Supervised learning primește perechi de forma întrebare–răspuns corect și învață să le reproducă. Reinforcement learning nu primește niciun răspuns corect: primește doar consecințele acțiunilor lui, adesea cu întârziere, și trebuie să deducă singur ce a contat.
Ce înseamnă învățare prin recompensă?
E denumirea în română pentru reinforcement learning. Sistemul nu primește exemple cu răspunsul corect, ci un semnal numeric, recompensă sau penalizare, după fiecare acțiune, și își ajustează comportamentul ca să maximizeze suma recompenselor pe termen lung.
Ce înseamnă explorare vs exploatare?
Dilema centrală a metodei: să repeți acțiunea despre care știi deja că merge, sau să încerci ceva nou care ar putea merge mai bine. Prea multă exploatare blochează sistemul într-o soluție mediocră; prea multă explorare îl împiedică să se stabilizeze.
Unde se folosește reinforcement learning în practică?
Jocuri și simulări, robotică, optimizarea consumului în centre de date, sisteme de recomandare și, cu prudență, trading. Regula comună: medii în care o greșeală e ieftină și poate fi repetată de milioane de ori.
