論文の概要: From Images to Connections: Can DQN with GNNs learn the Strategic Game of Hex?

• arxiv url: http://arxiv.org/abs/2311.13414v1
• Date: Wed, 22 Nov 2023 14:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 14:51:29.672575
• Title: From Images to Connections: Can DQN with GNNs learn the Strategic Game of Hex?
• Title（参考訳）: 画像からコネクトへ:DQNとGNNはHexの戦略ゲームを学ぶことができるか?
• Authors: Yannik Keller, Jannis Bl\"uml, Gopika Sudhakaran and Kristian Kersting
• Abstract要約: 本稿では,グラフニューラルネットワーク(GNN)が自己再生強化学習において,畳み込みニューラルネットワーク(CNN)を置き換えることができるかどうかを検討する。 GNNはゲーム状態の長期依存状況に対処する上で優れており、過度に適合する傾向が低い。 このことは、ゲーム固有の構造を用いて自己プレイ強化学習を再構築する、潜在的なパラダイムシフトを示唆している。
• 参考スコア（独自算出の注目度）: 22.22813915303447
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The gameplay of strategic board games such as chess, Go and Hex is often characterized by combinatorial, relational structures -- capturing distinct interactions and non-local patterns -- and not just images. Nonetheless, most common self-play reinforcement learning (RL) approaches simply approximate policy and value functions using convolutional neural networks (CNN). A key feature of CNNs is their relational inductive bias towards locality and translational invariance. In contrast, graph neural networks (GNN) can encode more complicated and distinct relational structures. Hence, we investigate the crucial question: Can GNNs, with their ability to encode complex connections, replace CNNs in self-play reinforcement learning? To this end, we do a comparison with Hex -- an abstract yet strategically rich board game -- serving as our experimental platform. Our findings reveal that GNNs excel at dealing with long range dependency situations in game states and are less prone to overfitting, but also showing a reduced proficiency in discerning local patterns. This suggests a potential paradigm shift, signaling the use of game-specific structures to reshape self-play reinforcement learning.
• Abstract（参考訳）: チェス、囲碁、ヘックスといった戦略的なボードゲームのゲームプレイは、イメージだけでなく、組み合わせ、関係構造 -- 異なる相互作用と非局所パターンをキャプチャする -- によって特徴づけられることが多い。 それでも、最も一般的なセルフプレイ強化学習(RL)は、畳み込みニューラルネットワーク(CNN)を用いたポリシーと値関数を単純に近似するアプローチである。 CNNの重要な特徴は、局所性と翻訳的不変性に対する関係帰納的バイアスである。 対照的に、グラフニューラルネットワーク(GNN)はより複雑で明確な関係構造を符号化することができる。 したがって、GNNは複雑な接続を符号化し、自己再生強化学習においてCNNを置き換えることができるのか? この目的のために私たちは,実験プラットフォームとして機能する,抽象的で戦略的にリッチなボードゲームであるHexとの比較を行います。 以上の結果から, GNNはゲーム状態の長期依存状況に優れ, 過度に適合する傾向が低いが, 局所パターンの認識能力の低下が示唆された。 これは、ゲーム固有の構造を使用して自己プレイ強化学習を再構築する、潜在的なパラダイムシフトを示唆する。

関連論文リスト

• Enhancing Chess Reinforcement Learning with Graph Representation [21.919003715442074]
  グラフニューラルネットワーク(GNN)に基づくより一般的なアーキテクチャを導入する。 この新しいアーキテクチャは、同じ数のパラメータで以前のアーキテクチャより優れていることを示す。 また、より小さな5倍のチェスでトレーニングすると、通常の8倍のチェスでプレイできるように素早く微調整できることも示しています。
  論文  参考訳（メタデータ） (2024-10-31T09:18:47Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Graph Neural Network based Agent in Google Research Football [0.5735035463793007]
  一部のディープニューラルネットワーク(CNN)は、強化学習の特定の状況下で、十分な情報を抽出したり、入力から十分な特徴を得るのに十分な時間を要することができない。 本稿では,グラフニューラルネットワーク(GNN)をモデルとしたディープラーニングネットワーク(DQN)を提案する。 GNNは入力データをグラフに変換し、選手の位置をよりよく表現し、異なる選手間の相互作用に関する情報を抽出する。
  論文  参考訳（メタデータ） (2022-04-23T21:26:00Z)
• MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering [96.65234340724237]
  現状のGNNベースCFモデルとコンテキスト符号化に基づく従来の1層NRLモデルとの等価性を示す。 マルコフグラフ拡散協調フィルタ (MGDCF) を用いて, 最先端のGNNベースCFモデルを一般化する。
  論文  参考訳（メタデータ） (2022-04-05T17:24:32Z)
• Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。 オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。 本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
  論文  参考訳（メタデータ） (2021-07-19T23:56:48Z)
• Rethinking pooling in graph neural networks [12.168949038217889]
  畳み込み層とその後のプール層との相互作用について検討する。 一般的な信念とは対照的に、局所プールは、関連する、広く使用されているベンチマーク上でのGNNの成功には寄与しない。
  論文  参考訳（メタデータ） (2020-10-22T03:48:56Z)
• Finite Group Equivariant Neural Networks for Games [0.0]
  既存の作業におけるグループ同変CNNは、対称性を利用して学習を改善するネットワークを作成する。 そこで我々はFinite Group Neural Networks (FGNNs)を紹介した。 FGNNは、チェッカー(ドロート)をプレイするネットワークの性能を向上させることが示され、他のゲームや学習問題に容易に適応できる。
  論文  参考訳（メタデータ） (2020-09-10T17:46:09Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
  グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:48:03Z)
• Visual Commonsense R-CNN [102.5061122013483]
  本稿では,新しい教師なし特徴表現学習手法であるVisual Commonsense Region-based Convolutional Neural Network (VC R-CNN)を提案する。 VC R-CNNは、キャプションやVQAのような高レベルのタスクのための改善された視覚領域エンコーダとして機能する。 我々は、画像キャプション、VQA、VCRの3つの一般的なタスクのモデルにおいて、VC R-CNNの機能を広く適用し、それら全体で一貫したパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-27T15:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。