論文の概要: Enhancing Chess Reinforcement Learning with Graph Representation
- arxiv url: http://arxiv.org/abs/2410.23753v1
- Date: Thu, 31 Oct 2024 09:18:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:02:54.322418
- Title: Enhancing Chess Reinforcement Learning with Graph Representation
- Title（参考訳）: グラフ表現によるチェス強化学習の強化
- Authors: Tomas Rigaux, Hisashi Kashima,
- Abstract要約: グラフニューラルネットワーク(GNN)に基づくより一般的なアーキテクチャを導入する。
この新しいアーキテクチャは、同じ数のパラメータで以前のアーキテクチャより優れていることを示す。
また、より小さな5倍のチェスでトレーニングすると、通常の8倍のチェスでプレイできるように素早く微調整できることも示しています。
- 参考スコア（独自算出の注目度）: 21.919003715442074
- License:
- Abstract: Mastering games is a hard task, as games can be extremely complex, and still fundamentally different in structure from one another. While the AlphaZero algorithm has demonstrated an impressive ability to learn the rules and strategy of a large variety of games, ranging from Go and Chess, to Atari games, its reliance on extensive computational resources and rigid Convolutional Neural Network (CNN) architecture limits its adaptability and scalability. A model trained to play on a $19\times 19$ Go board cannot be used to play on a smaller $13\times 13$ board, despite the similarity between the two Go variants. In this paper, we focus on Chess, and explore using a more generic Graph-based Representation of a game state, rather than a grid-based one, to introduce a more general architecture based on Graph Neural Networks (GNN). We also expand the classical Graph Attention Network (GAT) layer to incorporate edge-features, to naturally provide a generic policy output format. Our experiments, performed on smaller networks than the initial AlphaZero paper, show that this new architecture outperforms previous architectures with a similar number of parameters, being able to increase playing strength an order of magnitude faster. We also show that the model, when trained on a smaller $5\times 5$ variant of chess, is able to be quickly fine-tuned to play on regular $8\times 8$ chess, suggesting that this approach yields promising generalization abilities. Our code is available at https://github.com/akulen/AlphaGateau.
- Abstract（参考訳）: ゲームは極めて複雑でありながら、構造的にも根本的に異なるため、マスタリングゲームは難しい作業です。
AlphaZeroアルゴリズムは、GoやChess、Atariゲームなど、さまざまなゲームのルールと戦略を学ぶという印象的な能力を示しているが、膨大な計算リソースへの依存と、厳格な畳み込みニューラルネットワーク(CNN)アーキテクチャは、適応性とスケーラビリティを制限している。
19ドル(約1万2000円)のGoボードでプレイするように訓練されたモデルは、13ドル(約1万3000円)の小さなボードではプレイできない。
本稿では,Chessに着目し,グリッドベースではなく,より汎用的なグラフベースのゲーム状態表現を用いて,グラフニューラルネットワーク(GNN)に基づくより汎用的なアーキテクチャを導入する。
また,従来のグラフ注意ネットワーク(GAT)レイヤを拡張してエッジ機能を導入し,汎用的なポリシ出力フォーマットを自然に提供する。
我々の実験は、初期のAlphaZeroの論文よりも小さなネットワーク上で行われ、この新しいアーキテクチャは、同じ数のパラメータで以前のアーキテクチャよりも優れており、演奏強度を桁違いに向上させることができることを示した。
また,より小さな5\times 5$のチェスを訓練すると,通常の8\times 8$のチェスを素早く微調整できることが示され,この手法が有望な一般化能力をもたらすことが示唆された。
私たちのコードはhttps://github.com/akulen/AlphaGateau.comから入手可能です。
関連論文リスト
- Amortized Planning with Large-Scale Transformers: A Case Study on Chess [11.227110138932442]
本稿では,AIにおける画期的な計画問題であるチェスを用いて,計画課題の性能評価を行う。
ChessBenchは、Stockfishが提供する法的行動と価値アノテーション(1500億ポイント)を備えた1000万のチェスゲームの大規模なベンチマークである。
極めて優れた近似を教師付き学習により大規模変圧器に蒸留することは可能であるが, 完全蒸留は依然として到達範囲を超えている。
論文 参考訳（メタデータ） (2024-02-07T00:36:24Z) - From Images to Connections: Can DQN with GNNs learn the Strategic Game
of Hex? [22.22813915303447]
本稿では,グラフニューラルネットワーク(GNN)が自己再生強化学習において,畳み込みニューラルネットワーク(CNN)を置き換えることができるかどうかを検討する。
GNNはゲーム状態の長期依存状況に対処する上で優れており、過度に適合する傾向が低い。
このことは、ゲーム固有の構造を用いて自己プレイ強化学習を再構築する、潜在的なパラダイムシフトを示唆している。
論文 参考訳（メタデータ） (2023-11-22T14:20:15Z) - Mastering the Game of Stratego with Model-Free Multiagent Reinforcement
Learning [86.37438204416435]
Strategoは、人工知能(AI)がまだマスターしていない数少ない象徴的なボードゲームの一つだ。
ストラテゴにおける決定は、行動と結果の間に明らかな結びつきがなく、多数の個別の行動に対してなされる。
DeepNashは、ストラテゴの既存の最先端AIメソッドを破り、Gravonゲームプラットフォームで年間(2022年)と最高3位を達成した。
論文 参考訳（メタデータ） (2022-06-30T15:53:19Z) - Near-Optimal No-Regret Learning for General Convex Games [121.50979258049135]
一般凸およびコンパクト戦略集合に対して後悔が得られることを示す。
我々の力学は、適度にエンハンリフトされた空間上の楽観的な従順化バウンドのインスタンス化にある。
先行結果が適用される特殊な場合であっても、我々のアルゴリズムは最先端の後悔よりも改善される。
論文 参考訳（メタデータ） (2022-06-17T12:58:58Z) - Elastic Monte Carlo Tree Search with State Abstraction for Strategy Game
Playing [58.720142291102135]
戦略ビデオゲームは、複雑なゲーム要素によって引き起こされる検索スペースでAIエージェントに挑戦する。
状態抽象化は、状態空間の複雑さを低減する一般的なテクニックである。
我々は,状態抽象化を用いてストラテジーゲームをプレイするアルゴリズムであるElastic MCTSを提案する。
論文 参考訳（メタデータ） (2022-05-30T14:18:45Z) - Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors
to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。
1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。
その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文 参考訳（メタデータ） (2022-02-07T16:38:36Z) - Train on Small, Play the Large: Scaling Up Board Games with AlphaZero
and GNN [23.854093182195246]
ボードゲームをするのは、人間とAI研究者の両方にとって大きな課題だと考えられている。
この研究では、ボードをグラフとして見て、AlphaZeroフレームワーク内でグラフニューラルネットワークアーキテクチャを組み合わせる。
私たちのモデルは、ドメイン知識を使わずに、複数のボードサイズで異なる挑戦的なボードゲームをプレイするように、迅速にトレーニングすることができます。
論文 参考訳（メタデータ） (2021-07-18T08:36:00Z) - Determining Chess Game State From an Image [19.06796946564999]
本稿では,既存のモデルよりも桁違いに大きい3次元モデルから合成した新しいデータセットについて述べる。
従来のコンピュータビジョン技術とディープラーニングを組み合わせた新しいエンドツーエンドチェス認識システムを紹介します。
記述されたシステムでは,テストセット上での誤差率は0.23%であり,現状の28倍である。
論文 参考訳（メタデータ） (2021-04-30T13:02:13Z) - The Design Of "Stratega": A General Strategy Games Framework [62.997667081978825]
Strategaはターンベースおよびリアルタイム戦略ゲームを作成するためのフレームワークである。
このフレームワークは、統計的フォワードプランニング(SFP)エージェントに焦点を当てて構築されている。
我々は,このフレームワークとそのエージェントの開発が,戦略ゲームにおける複雑な意思決定プロセスの理解に役立つことを願っている。
論文 参考訳（メタデータ） (2020-09-11T20:02:00Z) - Assessing Game Balance with AlphaZero: Exploring Alternative Rule Sets
in Chess [5.3524101179510595]
私たちはAlphaZeroを使って、新しいチェスの変種を創造的に探索し、設計しています。
チェスのルールに原子的変化を含む他の9つの変種を比較した。
AlphaZeroを用いて各変種に対する準最適戦略を学習することにより、これらの変種が採用された場合、強い人間プレイヤー間のゲームがどのように見えるかを決定する。
論文 参考訳（メタデータ） (2020-09-09T15:49:14Z) - Model-Based Reinforcement Learning for Atari [89.3039240303797]
エージェントがモデルフリーの手法よりも少ないインタラクションでAtariゲームを解くことができることを示す。
本実験は,エージェントと環境間の100kの相互作用の少ないデータ構造における,AtariゲームにおけるSimPLeの評価である。
論文 参考訳（メタデータ） (2019-03-01T15:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。