Gioco legale e responsabile

Curiosità

Facebook sviluppa un bot capace di imparare il poker a una velocità mai vista prima

Si chiama Recursive Belief-based Learning, altrimenti detto ReBeL, ed è un bot sviluppato da Facebook dedicato al NLHE heads-up. Secondo gli sviluppatori, nessun’altra intelligenza artificiale creata sinora sarebbe in grado di imparare il gioco altrettanto velocemente.

Scritto da
30/07/2020 12:00

1.896


Libratus e Pluribus, scansatevi. C’è un nuovo sceriffo dei poker bot in città e si chiama ReBeL. Acronimo di Recursive Belief-based Learning, ReBel è un bot sviluppato dai ricercatori di Facebook, capace di ottenere performance superiori a quelle di qualsiasi essere umano nel No Limit Hold’em heads-up.

Gli sviluppatori affermano che ReBeL sia un passo avanti nello sviluppo di tecniche universale per interazioni multi-agente: in altre parole, algoritmi generali che possono essere impiegati in ambienti su larga scala.

Come funziona ReBeL

Proprio come il “collega” Libratus, anche ReBeL ha numerose applicazioni potenziali: dalle aste alle negoziazioni, dalla cyber sicurezza, passando per auto e camion a guida automatica. Questo bot unisce l’apprendimento per rinforzo alla ricerca tramite model training: i progressi tecnologici sono stati sbalorditivi.

Confronto Bonus Poker

Questo comparatore confronta i bonus di benvenuto attualmente verificabili sui bookmaker italiani. Questa tabella ha una funzione informativa e i bookmaker sono mostrati a rotazione casuale.

L’apprendimento per rinforzo avviene quando gli agenti imparano a raggiungere gli obiettivi massimizzando le ricompense, mentre la ricerca è il processo di navigazione da un punto iniziale ad un obiettivo.

Per esempio, AlphaZero di DeepMind utilizzava l’apprendimento per rinforzo e la ricerca per ottenere performance eccellenti in giochi da tavolo come scacchi, shogi e Go. Ma l’approccio combinatorio soffre quando viene applicato a giochi di informazioni incomplete come il poker, o persino carta-sasso-forbice.

Il bot nel poker

I ricercatori di Facebook hanno creato ReBeL proprio per ovviare a questo problema. Questo bot lavora in modo che la nozione di stato del gioco venga espansa per includere ciò che gli agenti credono, in base alla conoscenza comune e alle policy di altri agenti: insomma, fanno delle considerazioni pur in assenza di informazioni certe.

Senza entrare troppo in complicati dettagli tecnici, il risultato è semplice: un algoritmo flessibile che secondo gli sviluppatori sarebbe in grado di battere i migliori giocatori di poker in carne ed ossa in giochi ad informazioni imperfette, su larga scala, e che coinvolgono solo due giocatori.

All’inizio di ogni partita, il bot ReBel genera un “sottogioco”, identico al gioco originale, in cui non viene preso in considerazione lo “stato del gioco”, ma quello che in gergo si definisce PBS (public belief states), cioè una distribuzione di probabilità su una sequenza finita di possibili azioni e stati.

Definizione troppo complicata? Nel poker, tutto ciò si chiama semplicemente history.

 

poker bot rebel facebook

 

La sfida con Dong Kim

Negli esperimenti condotti, i ricercatori hanno utilizzato giochi come il NLHE Heads-up, Liar’s Dice e il turn endgame hold’em, una variante del No Limit Hold’em in cui entrambi i giocatori possono fare solo check o calle per i primi due giri di puntata.

Il team ha utilizzato fino a 128 computer con 8 schede grafiche per generale dati di gioco simulati, randomizzando le puntate e gli stack (da 5.000 a 25.000 chip).

Il team ha reso noto come ReBeL abbia giocato ogni mano due secondi più velocemente di Dong Kim (un ottimo giocatore di poker specializzato negli heads-up) in un campione di 7.500 mani, senza mai metterci più di cinque secondi per decidere cosa fare.

No, non potrete usare ReBel!

Il risultato? Un vantaggio di 165 millesimi di big blind per partita contro avversari umani, rispetto ai 147 raggiunti al massimo da Libratus.

Temendo che il suo utilizzo potesse essere sfruttato dai cheater, il team di Facebook ha deciso di non rilasciare il codice sorgente del bot ReBel per il poker.

Tu cosa ne pensi? Lascia il tuo commento