C’est dans ce contexte que le jeu de go apparaît dans l’informatique, et plus particulièrement dans l’intelligence artificielle, où il représente un des problèmes les plus complexes à résoudre. En effet, au démarrage, ce sont des algorithmes comme min-max et alpha-bêta qui sont utilisés pour simuler une intelligence artificielle jouant au go. Pourtant, ils n’offrent pas de bons résultats mis à part sur des petites grilles. On sait que les programmes qui tentent de jouer au Go avec ces algorithmes sont corrects sur une petite grille, généralement de 9x9. Cependant, les grilles légales sont de 19 lignes verticales sur 19 lignes horizontales, ce qui offre 361 possibilités. A titre de comparaison, au début d’une partie d’échecs il n’y a que 20 coups possibles. En termes de calcul, il y a 130 000 possibilités pour calculer un coup contre 400 au jeu d’échecs. On voit donc bien l’enjeu que représente le jeu de Go en informatique.

Sur quelle architecture AlphaGo repose-t-elle ?

 

 

 

AlphaGo est basé sur l’architecture des réseaux de neurones profonds. C’est un sous-domaine de l’apprentissage profond. On va donc se focaliser sur ce type d’architecture. On peut diviser l’intelligence artificielle AlphaGo en trois composantes principales:

Le réseau stratégique (policy network) : Ce réseau a analysé énormément de parties de Go jouées par des champions. Il joue contre des niveaux élevés et il imite leur niveau.

Le réseau de valeurs (value network): Ce réseau évalue les positions sur le plateau et calcule la probabilité de victoire dans une situation. C’est important pour prendre des décisions tout au long de la partie.

L’arbre de recherche (tree search): Ici, il s’agit d’un algorithme qui va analyser les différentes variations de la partie pour déterminer ce qui va se produire. 

Il  prend en compte les résultats donnés par le réseau stratégique et le réseau de valeurs afin d’avoir les meilleurs résultats en termes de mouvements. Plus précisément, c’est un arbre de recherche Monte Carlo (MCTS).

L’arbre de recherche Monte Carlo est une méthode utilisée surtout dans les jeux afin de choisir des solutions optimales. Pour cela, la méthode comprend 4 étapes pour son bon fonctionnement : la sélection (de la racine jusqu’aux noeuds), l’extension (noeud final ou noeud avec enfants -> solutions possibles), la simulation (jeu aléatoire jusqu’à obtenir un noeud final) et la rétropropagation (mise à jour des résultats obtenus suite à la simulation).

 

L’architecture des réseaux de neurones profonds est une architecture à plusieurs couches connectées dont le concept est simple: les neurones évoluent entre chaque couche. Chaque neurone reçoit des données d’anciennes couches et les transforment dans le but de les envoyer à la prochaine couche. Ces données sont transformées par le biais d’une fonction d’activation. 

On peut distinguer deux types de réseaux de neurones:

• L’architecture feedforward, où les données vont dans un sens
• L’architecture récurrente, où les données peuvent aller dans plusieurs sens

L’architecture d’AlphaGo est de type feedforward.

Parmi les 3 composantes d’AlphaGo, il y a 2 réseaux neuronaux: le réseau stratégique et le réseau de valeurs. Plus ils s’entraînent, plus ces réseaux neuronaux sont précis. Ils se mettent à jour pour prévoir les mouvements. Les parties jouées par AlphaGo sont donc de meilleures qualités. Deux méthodes d’apprentissage sont mises en œuvre ici: l’apprentissage supervisé et l’apprentissage par renforcement. Le premier s’occupe d’imiter les mouvements repérés dans les parties. Le second est chargé de s’affronter lui-même, le principe du renforcement, dans le but d’améliorer le réseau neuronal. Nous sommes dans un cercle vertueux, AlphaGo s’entraîne, améliore ses performances et devient de plus en plus fort à mesure qu’il joue.

Image	Name	Part Number	Price	Count	Link
					🛒