AlphaGo learns Chess, pwns Stockfish

AlphaGo learns Chess, pwns Stockfish

Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
The game of chess is the most widely-studied domain in the history of artificial intelligence. The strongest programs are based on a combination of sophisticated search techniques, domain-specific adaptations, and handcrafted evaluation functions that have been refined by human experts over several decades. In contrast, the AlphaGo Zero program recently achieved superhuman performance in the game of Go, by tabula rasa reinforcement learning from games of self-play. In this paper, we generalise this approach into a single AlphaZero algorithm that can achieve, tabula rasa, superhuman performance in many challenging domains. Starting from random play, and given no domain knowledge except the game rules, AlphaZero achieved within 24 hours a superhuman level of play in the games of chess and shogi (Japanese chess) as well as Go, and convincingly defeated a world-champion program in each case.

Google's AI team is at it again. They published a new paper where they describe a generic deep learning algorithm that easily beats all state of the art engines in various board games including Chess, Shogi and Go. This algorithm learns from zero by playing against itself and requires no training data such as human games. It just needs to know the rules of the game.

The DeepMind paper is here:

https://hunonchess.com/wp-content/uploads/2017/12/1712.01815.pdf

Az AlphaGo a Google DeepMind által kifejlesztett számítógépes goprogram, mely 2015 októberében elsőként vert meg profi gojátékost előnykő nélkül 19×19 mezős táblán. Az program algoritmusa a gépi tanulás és a fabejárási (wd) technikákat kombinálja, amit emberi és gépi játszmákból származó tanulással egészít ki. Az AlphaGo jelentős előrelépést jelent a korábbi goprogramokhoz képest. 500 más goprogram elleni játszmából (beleértve a Crazy Stone-t(wd) és a Zent) az egy számítógépen futó AlphaGo egy kivételével mindet megnyerte. Egy hasonló versenyben, ahol az AlphaGo több számítógépen futott, mind az 500 játszmát megnyerte más goprogramok ellen. A partik 77%-ában szimplagépes AlphaGo ellen játszott. Az elosztott verzió 1202 CPU-t és 176 GPU-t használt, körülbelül 25-ször többet, mint az egygépes változat.

Egy évvel ezelőtt történelmet csinált a Google DeepMind; az AlphaGo 4:1-re verte Lee Sedolt, a világ egyik legerősebb gó játékosát. A kínai Ke Jie - jelenleg a világon a legerősebb profi gós - ekkor még azt nyilatkozta, hogy ő meg tudná verni az AlphaGo-t.

Azóta az AlphaGo egyre erősödött, a Tygem gó szerveren 2017 januárban 60:0-ra verte a világ legerősebb játékosait. Ekkor már Ke Jie is többször vereséget szernvedett. Az elképesztő eredmény ámulatba ejtette a gósokat, az AI fejlesztőket. A Nature-ben tavaly publikált cikk és a kutatási leírások új alapot adtak a mesterséges intelligencia fejlődésének. Először a japán Deep Zen Go program sikereiről lehetett olvasni; a legendás Cho Chikunnal játszott, de 2:1-re veszített. Ez az eredmény azt sugallta, hogy nem olyan egyszerű még olyan AI-t készíteni, ami megveri a top gó játékosokat. Viszont most a kínai tech óriás, a Tencent az AlphaGo nyomába ért.

Az igazi kérdés ma már nem az, hogy az ember képes-e felvenni a versenyt az AlphaGo-val, hanem, hogy melyik AI lesz a kihívója.

A lehetséges kihívó FineArt (Jueyi, 绝艺), a kínai Tencent fejlesztése, ami megnyerte a gó programok közötti világversenyt (10th Computer Go UEC Cup) Japánban, kétszer legyőzve a Deep Zen Go-t (a selejtezőben, majd a döntőben). A verseny résztvevője volt többek között a Facebook híres Darkforest-je és a francia Crazy Stone is. Az AlphaGo nem vett részt a versenyen.

A Tencent AI Labs akkor kezdte el fejleszteni a saját gó AI algoritmusát, amikor az AlphaGo megverte Lee Sedolt. 2016 augusztusában a Fox gószerveren tesztelték a program erejét. Többször változtattak a nevén, majd végül egy ősi kínai versből vett kifejezés mellett állapodtak meg a készítők, így lett FineArt.

A Tencent felkérte Ke Jie-t, a világranglista első helyezettjét, hogy mérje össze erejét a FineArt-tal. Novemberben még egy győzelem és egy vereség volt az állás. Viszont 2017 februárra elkészült a továbbfejlesztett verzió és a FineArt 10 játszmát nyert egymás után.

A gó egy 4000 éves játék, amiben a múlt évig a gépek nem voltak képesek legyőzni az embert. Most a legnagyobb mesterek lelkesen várják az újabb és újabb AI mérkőzéseket. A gó az első olyan játék, ahol az AI-tól kap ihletet az ember a fejlődéshez.

Elérkezett az idő, amikor már nem az a kérdés, hogy az ember megverheti-e valamelyik gó programot, hanem az, hogy melyik AI lesz a legerősebb. Vajon miben fog változni az emberek tudása a góról az AI-k révén? Milyen új mélységek nyílnak meg ebben az intuitívnak mondott játékban?

Az AlphaGo mögött álló fejlesztői csapat újabb kihívásokra fordítja energiáit, és olyan fejlett algoritmusokon dolgozik majd, amelyek egy napon segíthetnek a tudósoknak megoldani legösszetettebb problémáinkat, például gyógymódot keresni betegségekre, csökkenteni az energiafogyasztást, vagy feltalálni új anyagokat.” – írta Demis Hassabis, a Deepmind vezetője blogbejegyzésükben.
[White "Stockfish"] [Black "AlphaZero"] [Result "0-1"] [ECO "C65"] 1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. O-O Nd7 7. Nbd2 O-O 8. Qe1 f6 9. Nc4 Rf7 10. a4 Bf8 11. Kh1 Nc5 12. a5 Ne6 13. Ncxe5 fxe5 14. Nxe5 Rf6 15. Ng4 Rf7 16. Ne5 Re7 17. a6 c5 18. f4 Qe8 19. axb7 Bxb7 20. Qa5 Nd4 21. Qc3 Re6 22. Be3 Rb6 23. Nc4 Rb4 24. b3 a5 25. Rxa5 Rxa5 26. Nxa5 Ba6 27. Bxd4 Rxd4 28. Nc4 Rd8 29. g3 h6 30. Qa5 Bc8 31. Qxc7 Bh3 32. Rg1 Rd7 33. Qe5 Qxe5 34. Nxe5 Ra7 35. Nc4 g5 36. Rc1 Bg7 37. Ne5 Ra8 38. Nf3 Bb2 39. Rb1 Bc3 40. Ng1 Bd7 41. Ne2 Bd2 42. Rd1 Be3 43. Kg2 Bg4 44. Re1 Bd2 45. Rf1 Ra2 46. h3 Bxe2 47. Rf2 Bxf4 48. Rxe2 Be5 49. Rf2 Kg7 50. g4 Bd4 51. Re2 Kf6 52. e5+ Bxe5 53. Kf3 Ra1 54. Rf2 Re1 55. Kg2+ Bf4 56. c3 Rc1 57. d4 Rxc3 58. dxc5 Rxc5 59. b4 Rc3 60. h4 Ke5 61. hxg5 hxg5 62. Re2+ Kf6 63. Kf2 Be5 64. Ra2 Rc4 65. Ra6+ Ke7 66. Ra5 Ke6 67. Ra6+ Bd6 0-1
[White "Stockfish"] [Black "AlphaZero"] [Result "0-1"] 1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. Bxc6 dxc6 6. 0-0 Nd7 7. c3 0-0 8. d4 Bd6 9. Bg5 Qe8 10. Re1 f6 11. Bh4 Qf7 12. Nbd2 a5 13. Bg3 Re8 14. Qc2 Nf8 15. c4 c5 16. d5 b6 17. Nh4 g6 18. Nhf3 Bd7 19. Rad1 Re7 20. h3 Qg7 21. Qc3 Rae8 22. a3 h6 23. Bh4 Rf7 24. Bg3 Rfe7 25. Bh4 Rf7 26. Bg3 a4 27. Kh1 Rfe7 28. Bh4 Rf7 29. Bg3 Rfe7 30. Bh4 g5 31. Bg3 Ng6 32. Nf1 Rf7 33. Ne3 Ne7 34. Qd3 h5 35. h4 Nc8 36. Re2 g4 37. Nd2 Qh7 38. Kg1 Bf8 39. Nb1 Nd6 40. Nc3 Bh6 41. Rf1 Ra8 42. Kh2 Kf8 43. Kg1 Qg6 44. f4 gxf3 45. Rxf3 Bxe3+ 46. Rfxe3 Ke7 47. Be1 Qh7 48. Rg3 Rg7 49. Rxg7+ Qxg7 50. Re3 Rg8 51. Rg3 Qh8 52. Nb1 Rxg3 53. Bxg3 Qh6 54. Nd2 Bg4 55. Kh2 Kd7 56. b3 axb3 57. Nxb3 Qg6 58. Nd2 Bd1 59. Nf3 Ba4 60. Nd2 Ke7 61. Bf2 Qg4 62. Qf3 Bd1 63. Qxg4 Bxg4 64. a4 Nb7 65. Nb1 Na5 66. Be3 Nxc4 67. Bc1 Bd7 68. Nc3 c6 69. Kg1 cxd5 70. exd5 Bf5 71. Kf2 Nd6 72. Be3 Ne4+ 73. Nxe4 Bxe4 74. a5 bxa5 75. Bxc5+ Kd7 76. d6 Bf5 77. Ba3 Kc6 78. Ke1 Kd5 79. Kd2 Ke4 80. Bb2 Kf4 81. Bc1 Kg3 82. Ke2 a4 83. Kf1 Kxh4 84. Kf2 Kg4 85. Ba3 Bd7 86. Bc1 Kf5 87. Ke3 Ke6 0-1
[White "AlphaZero"] [Black "Stockfish"] [Result "1-0"] 1. Nf3 Nf6 2. c4 b6 3. d4 e6 4. g3 Ba6 5. Qc2 c5 6. d5 exd5 7. cxd5 Bb7 8. Bg2 Nxd5 9. 0-0 Nc6 10. Rd1 Be7 11. Qf5 Nf6 12. e4 g6 13. Qf4 0-0 14. e5 Nh5 15. Qg4 Re8 16. Nc3 Qb8 17. Nd5 Bf8 18. Bf4 Qc8 19. h3 Ne7 20. Ne3 Bc6 21. Rd6 Ng7 22. Rf6 Qb7 23. Bh6 Nd5 24. Nxd5 Bxd5 25. Rd1 Ne6 26. Bxf8 Rxf8 27. Qh4 Bc6 28. Qh6 Rae8 29. Rd6 Bxf3 30. Bxf3 Qa6 31. h4 Qa5 32. Rd1 c4 33. Rd5 Qe1+ 34. Kg2 c3 35. bxc3 Qxc3 36. h5 Re7 37. Bd1 Qe1 38. Bb3 Rd8 39. Rf3 Qe4 40. Qd2 Qg4 41. Bd1 Qe4 42. h6 Nc7 43. Rd6 Ne6 44. Bb3 Qxe5 45. Rd5 Qh8 46. Qb4 Nc5 47. Rxc5 bxc5 48. Qh4 Rde8 49. Rf6 Rf8 50. Qf4 a5 51. g4 d5 52. Bxd5 Rd7 53. Bc4 a4 54. g5 a3 55. Qf3 Rc7 56. Qxa3 Qxf6 57. gxf6 Rfc8 58. Qd3 Rf8 59. Qd6 Rfc8 60. a4 1-0

AlphaZero trained itself and in 4 hours destroyed Stockfish 28-0 (72 draws)! Just stunning!

Links

Read previous post:
Elkelt Kádár sakk készlete 702 000 Ft-ért

https://hunonchess.com/elado-kadar-janos-sakk-keszlete/

Mindkét csapata nyert az ASE Sakk Szakosztályának az elözö bajnoki fordulóban

https://youtu.be/nTEFYT2RMts https://hunonchess.com/hungarian-chess-league-20172018r3/

LCC OPEN express report R5

[Event "9th LCC FIDE Open 2017"] [Site "London"] [Date "2017.12.05"] [Round "5"] [White "Melkumyan, Hrant"] [Black "Nihal Sarin"] [Result "1-0"]...

9th London Chess Classic 2017 R4

Susan Polgar‏ 22 draws so far. Caruana has a shot :) Susan Polgar‏ Caruana is closing in on 1st place...

Major Breakthrough: Saudi Arabia allows chess tournaments for women

Major Breakthrough: Saudi Arabia allows chess tournaments for women   Saudi Arabia allows chess tournaments for women Lama to head...

Close