論文の概要: The Surprising Effectiveness of Approximate Value Iteration in Self-Play

• arxiv url: http://arxiv.org/abs/2609.09094v1
• Date: Tue, 08 Sep 2026 17:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.706311
• Title: The Surprising Effectiveness of Approximate Value Iteration in Self-Play
• Title（参考訳）: セルフプレイにおける近似値イテレーションの意外な効果
• Abstract要約: 我々は、近似値イテレーション(AVI)の最小限のセルフプレイ実装を訓練する。 Othello と Go(9x9) の予備実験では、AVI はより大きなゲーム上で安定に訓練し、有効値関数を学ぶ。
• 参考スコア（独自算出の注目度）: 0.18479558716666356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Combining search with function approximation has driven major advances in game-playing programs, making self-play algorithms more competitive than ever. Still, the computational overhead of the most popular methods, based on Monte Carlo Tree Search (MCTS), can be substantial. In this work, we investigate whether simpler methods remain competitive in non-trivial, moderately sized games such as Connect Four, Hex(7x7) and synthetic games. We train a minimal self-play implementation of Approximate Value Iteration (AVI) and use ground-truth oracles for exact evaluation. Contrary to expectations, our results demonstrate the surprising effectiveness of AVI: it learns more accurate value functions than those learned by AlphaZero, while its one-step-lookahead greedy policies remain competitive with MCTS-based policies at substantially lower training and inference costs. Preliminary experiments on Othello and Go(9x9) show that AVI trains stably on larger games and learns effective value functions. These findings suggest that the success of MCTS-based methods may have eclipsed simpler approaches that have become increasingly practical with modern deep-learning tools.
• Abstract（参考訳）: 検索と関数近似を組み合わせることで、ゲームプレイプログラムが大きく進歩し、セルフプレイアルゴリズムはこれまでになく競争力を高めている。 それでも、モンテカルロ木探索(MCTS)に基づく最も一般的な手法の計算オーバーヘッドは大きい。 本研究では,Connect FourやHex(7x7),Synthetic Gamesといった非自明で中程度の大きさのゲームにおいて,単純な手法が競争力を維持するかどうかを検討する。 我々は,AVI(Adroximate Value Iteration)の最小限のセルフプレイ実装を訓練し,正確な評価に接地トラスオーラクルを使用する。 AVIはAlphaZeroが学習した値関数よりも正確な値関数を学習するが、その一段階の欲求政策はMCTSベースの政策と競合し、トレーニングや推論コストは大幅に低下する。 Othello と Go(9x9) の予備実験では、AVI はより大きなゲーム上で安定に訓練し、有効値関数を学ぶ。 これらの結果は、MCTSベースの手法の成功が、現代のディープラーニングツールでますます実用化されつつある、より単純なアプローチを超越した可能性があることを示唆している。

関連論文リスト

• Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching [23.600285251963395]
  逆強化学習(IRL)では、エージェントは環境との相互作用を通じて専門家のデモンストレーションを再現しようとする。 伝統的にIRLは、敵が報酬モデルを探し出し、学習者が繰り返しRL手順で報酬を最適化する対戦ゲームとして扱われる。 直接ポリシー最適化によるIRLに対する新しいアプローチを提案し、リターンの線形因数分解を後継特徴の内積および報酬ベクトルとして活用する。
  論文  参考訳（メタデータ） (2024-11-11T14:05:50Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Targeted Search Control in AlphaZero for Effective Policy Improvement [93.30151539224144]
  我々はAlphaZeroの新しい検索制御戦略であるGo-Exploitを紹介する。 Go-Exploitは、関心のある状態のアーカイブからセルフプレイトラジェクトリの開始状態をサンプリングする。 Go-Exploitは、標準のAlphaZeroよりも優れたサンプル効率で学習する。
  論文  参考訳（メタデータ） (2023-02-23T22:50:24Z)
• Spending Thinking Time Wisely: Accelerating MCTS with Virtual Expansions [89.89612827542972]
  本稿では,モンテカルロ木探索 (MCTS) の変種を提案する。 9倍のGoボードゲームとAtariゲームの性能と計算結果を評価した。 実験の結果,提案手法は,平均検索時間50%以下で,元の検索アルゴリズムに匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-10-23T06:39:20Z)
• Planning for Sample Efficient Imitation Learning [52.44953015011569]
  現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。 本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。 実験結果から,EIは性能と試料効率の両立を図った。
  論文  参考訳（メタデータ） (2022-10-18T05:19:26Z)
• A Ranking Game for Imitation Learning [22.028680861819215]
  模倣を、$textitpolicy$と$textitreward$関数の間の2プレイヤーランキングベースのStackelbergゲームとして扱う。 このゲームは、オフラインの好みから学習する逆強化学習(IRL)法と方法の両方の多くのサブセットを含んでいる。 本研究では,均衡条件下での準最適模倣学習を容易にするために,政策性能のランク付けに使用される損失関数の要件を理論的に分析する。
  論文  参考訳（メタデータ） (2022-02-07T19:38:22Z)
• Combining Off and On-Policy Training in Model-Based Reinforcement Learning [77.34726150561087]
  MuZeroのシミュレートゲームから得られたデータを用いて、オフポリシターゲットの取得方法を提案する。 以上の結果から,これらの目標がトレーニングプロセスのスピードアップと,より高速な収束とより高い報酬につながることが示唆された。
  論文  参考訳（メタデータ） (2021-02-24T10:47:26Z)
• Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search [8.22379888383833]
  モンテカルロ・ツリー・サーチ(MCTS)と深部強化学習の組み合わせは,2プレイヤー完全情報ゲームにおける最先端の手法である。 本稿では,MCTS の変種を利用した探索アルゴリズムについて述べる。1) 潜在的に有界な報酬を持つゲームに対する新たなアクション値正規化機構,2) 効果的な探索並列化を可能にする仮想損失関数の定義,3) 世代ごとのセルフプレイによって訓練されたポリシーネットワークについて述べる。
  論文  参考訳（メタデータ） (2020-05-22T18:02:36Z)
• Provable Self-Play Algorithms for Competitive Reinforcement Learning [48.12602400021397]
  我々はマルコフゲームの設定の下で、競争力強化学習における自己プレイについて研究する。 自己再生アルゴリズムは、ゲームのT$ステップをプレイした後、後悔の$tildemathcalO(sqrtT)$を達成する。 また, 最悪の場合においても, 時間内に実行可能であることを保証し, 若干悪い後悔を招き, エクスプロイトスタイルのアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-02-10T18:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。