論文の概要: MAPLE: Multi-State Aggregated Policy Evaluation for AlphaZero in Imperfect-Information Games

• arxiv url: http://arxiv.org/abs/2605.24139v1
• Date: Fri, 22 May 2026 18:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.647168
• Title: MAPLE: Multi-State Aggregated Policy Evaluation for AlphaZero in Imperfect-Information Games
• Title（参考訳）: MAPLE:不完全情報ゲームにおけるAlphaZeroの多国間政策評価
• Authors: Qian-Rong Li, Hung Guei, I-Chen Wu, Ti-Rong Wu,
• Abstract要約: 一つの探索木内の複数のサンプル世界状態からのポリシーと価値評価を集約する木探索手法を提案する。 Phantom GoとDark Hexの実験では、MAPLEはPIMCベースのAlphaZeroベースラインを著しく上回っている。 これらの結果から,MAPLEは不完全情報ゲームにおけるAlphaZeroスタイルの学習に有効であることが示された。
• 参考スコア（独自算出の注目度）: 11.496240939986507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imperfect-information games (IIGs) are challenging, as players must make decisions without fully observing the true game state. While AlphaZero has achieved remarkable success in perfect-information games, extending it to IIGs remains difficult. Existing search-based approaches, such as Perfect Information Monte Carlo (PIMC), suffer from strategy fusion, while Information Set Monte Carlo Tree Search (IS-MCTS) incurs high computational cost when combined with neural networks. In this paper, we propose Multi-State Aggregated PoLicy Evaluation (MAPLE), a tree search method that aggregates policy and value evaluations from multiple sampled world states within a single search tree, combining the advantages of PIMC and IS-MCTS while maintaining a controllable computational cost. We further incorporate a Siamese-based sampling strategy to select informative world states from the information set. Experiments on Phantom Go and Dark Hex show that MAPLE significantly outperforms the PIMC-based AlphaZero baseline, achieving Elo improvements of 291 and 136, respectively. These results demonstrate that MAPLE is an effective approach for AlphaZero-style learning in imperfect-information games.
• Abstract（参考訳）: 不完全な情報ゲーム(IIG)は、プレイヤーが真のゲーム状態を完全に観察することなく決定をしなければならないため、難しい。 AlphaZeroは完全情報ゲームで顕著に成功したが、IIGに拡張することは依然として難しい。 Perfect Information Monte Carlo (PIMC)のような既存の検索ベースのアプローチは戦略融合に苦しむ一方、Information Set Monte Carlo Tree Search (IS-MCTS)はニューラルネットワークと組み合わせることで高い計算コストを発生させる。 本稿では,単一の探索木内の複数のサンプリングされた世界状態からのポリシーと価値評価を集約し,制御可能な計算コストを維持しつつPIMCとIS-MCTSの利点を組み合わせた多状態集約型PoLicy Evaluation(MAPLE)を提案する。 さらに、情報集合から情報的世界状態を選択するために、シームズに基づくサンプリング戦略を取り入れる。 Phantom GoとDark Hexの実験では、MAPLEはPIMCベースのAlphaZeroベースラインを著しく上回り、それぞれ291と136のエロ改善を達成した。 これらの結果から,MAPLEは不完全情報ゲームにおけるAlphaZeroスタイルの学習に有効であることが示された。

関連論文リスト

• Holistically Guided Monte Carlo Tree Search for Intricate Information Seeking [118.3983437282541]
  我々は,モンテカルロ木探索 (HG-MCTS) を用いた新たな情報探索パラダイムを採用したLLMベースの検索アシスタントを提案する。 本稿では,知識メモリを用いたプログレッシブ情報収集プロセスとしてタスクを再構築し,適応型チェックリストとMCTSのマルチパースペクティブ報酬モデルとを結合する。 マルチパースペクティブ報酬モデリングは、探索と検索の両方の報奨と、完了と残るサブゴールを追跡する進捗フィードバックを提供する。
  論文  参考訳（メタデータ） (2025-02-07T08:36:39Z)
• Improve Value Estimation of Q Function and Reshape Reward with Monte Carlo Tree Search [0.4450107621124637]
  強化学習は、GoやAtariといった完璧な情報ゲームで大きな成功を収めた。 不完全な情報ゲームのための強化学習の研究は、より複雑なゲーム構造とランダム性のために比較的限られている。 本稿では,不完全な情報ゲームであるUnoに着目し,Q値過大評価を減らし,報酬関数を書き換えることにより,これらの問題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-15T14:31:54Z)
• Perfect Information Monte Carlo with Postponing Reasoning [4.111084095218968]
  In this study introduceds Extended Perfect Information Monte Carlo (EPIMC), a online algorithm that the state-of-the-the-art determinization-based approach Perfect Information Monte Carlo (PIMC)。 EPIMCは完全な情報解決を延期し、戦略融合に関連する問題を緩和する。 戦略融合がゲームプレイに大きく影響を与えるゲームでは,特に顕著なパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2024-08-05T11:12:48Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
  GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。 $gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。 以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:04:47Z)
• LightZero: A Unified Benchmark for Monte Carlo Tree Search in General Sequential Decision Scenarios [32.83545787965431]
  学習モデルを用いた木探索計画能力に基づくエージェントの構築は、GoやAtariといった古典的な意思決定問題において大きな成功を収めている。 モンテカルロ木探索(MCTS)ベースのアルゴリズムを様々な現実世界のアプリケーションに拡張することは困難または不可能であるとみなされている。 本稿では,MCTS/MuZeroを一般的な逐次決定シナリオに展開するための最初の統一ベンチマークであるLightZeroを紹介する。
  論文  参考訳（メタデータ） (2023-10-12T14:18:09Z)
• Accelerate Multi-Agent Reinforcement Learning in Zero-Sum Games with Subgame Curriculum Learning [65.36326734799587]
  ゼロサムゲームのための新しいサブゲームカリキュラム学習フレームワークを提案する。 エージェントを以前に訪れた状態にリセットすることで、適応的な初期状態分布を採用する。 我々は,2乗距離をNE値に近似するサブゲーム選択指標を導出する。
  論文  参考訳（メタデータ） (2023-10-07T13:09:37Z)
• Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search [8.22379888383833]
  モンテカルロ・ツリー・サーチ(MCTS)と深部強化学習の組み合わせは,2プレイヤー完全情報ゲームにおける最先端の手法である。 本稿では,MCTS の変種を利用した探索アルゴリズムについて述べる。1) 潜在的に有界な報酬を持つゲームに対する新たなアクション値正規化機構,2) 効果的な探索並列化を可能にする仮想損失関数の定義,3) 世代ごとのセルフプレイによって訓練されたポリシーネットワークについて述べる。
  論文  参考訳（メタデータ） (2020-05-22T18:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。