論文の概要: Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess
- arxiv url: http://arxiv.org/abs/2608.27757v1
- Date: Thu, 27 Aug 2026 22:42:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.16018
- Title: Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess
- Title（参考訳）: 検索イミテーションを超えて:検索なしチェスの事前調査
- Abstract要約: 検索なしチェスネットワークは、強力な教師を模倣することによって、単一の前方パスから人間のマスター強度に達する。
検索を省略することは、それなしでプレイする上では不十分な代案なので、自己プレイ強化学習でシングルパスの強度を微調整します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Searchless chess networks reach human master strength from a single forward pass by imitating a stronger teacher: the strongest, Leela Chess Zero's (Lc0) released Chessformer, distills the visit counts of an AlphaZero-style Monte Carlo Tree Search (MCTS). Imitating a search is a poor proxy for playing without one, so we fine-tune for single-pass strength with self-play reinforcement learning (RL). Its exploration is usually supplied by an entropy bonus, the reverse Kullback-Leibler (KL) divergence to uniform. We replace it with a forward, mass-covering KL toward the network's own MCTS prior (prior-directed exploration), so exploration covers the moves the prior judges promising, and pair it with an entropy-adaptive sampling temperature, set by the value head's outcome uncertainty, that sharpens once a position is decided. In about two thousand steps it raises puzzle accuracy from 93.9% to 94.9% on a 100,000-puzzle suite and mate-in-four accuracy from 77% to 81% while holding searchless strength at or slightly above the base. Measuring tactical accuracy and playing strength together across a matched-compute sweep, we find the two dissociate: accuracy gains fall in a one-point band while ratings straddle the base, and a control fine-tuned on puzzles alone posts the study's largest tactical gains while shedding roughly 260 Elo; a better puzzle-solver is not thereby a stronger player. Distribution-level measurements show what anchoring buys: without a regularizer self-play collapses onto a single line of play, and the puzzles newly solved are the near misses whose winning move the prior kept alive. The forward-KL prior tops the rating ladder, statistically tied with a reverse-KL anchor that concentrates twice as hard and drops the hardest solutions the mass-covering prior keeps in support.
- Abstract（参考訳）: 最強のLeela Chess Zero(Lc0)がリリースしたChessformerは、AlphaZeroスタイルのモンテカルロツリーサーチ(MCTS)の訪問者数を蒸留している。
探索を省略することは、それなしでプレイする上では不十分な代案であるため、自己再生強化学習(RL)を用いてシングルパス強度を微調整する。
その探索は通常エントロピーボーナス、逆のクルバック・リーブラー(KL)が均一に分散して提供される。
我々は、先進的なKLをネットワーク自身のMCTS(先導探索)に置き換え、事前の審査員が期待する動きをカバーし、値ヘッドの結果の不確実性によって設定されたエントロピー適応サンプリング温度と組み合わせ、位置が決定されるとシャープ化する。
約2千のステップで、パズルの精度が93.9%から94.9%に上昇し、マトインフォーの精度は77%から81%に上昇し、ベースよりわずかに上回っている。
精度は1ポイントのバンドで低下し、評価はベースにばらばらになり、微調整された制御は、約260エロを横切りながら研究で最大の戦術的ゲインをポストし、より優れたパズル解凍器はより強力なプレイヤーではない。
正規化業者のセルフプレイが1行のプレイに崩壊することなく、新たに解決されたパズルは、前回の勝利を生かした近距離ミスである。
フォワードKLは格付けはしごを上回り、統計的には逆KLアンカーと結びついており、このアンカーは2倍硬く集中し、質量をカバーする先行する最も難しい解を落とす。
関連論文リスト
- CAST: Game Solvers as Turn-Level Teachers for LLM Agents [78.2379284312811]
大きな言語モデル(LLM)を訓練して、長距離ゲームで動作させることは、ジェネラリストの意思決定に向けた有望なステップである。
デンサープロセスの信号はこのターンレベルの信用を欠く可能性があるが、既存の情報源は安価で正確な情報を維持することは難しい。
本稿では,ゲームソルバの状態値の変化をデザイナの利点に変換し,ターンレベルの信号としてRLVRに注入するCASTを提案する。
論文 参考訳（メタデータ） (2026-07-28T05:39:01Z) - A Gold-Standard Study of What Makes a Lightweight Game-Playing Agent Strong [0.0]
不完全な情報カードゲームのための強化学習エージェントは、彼らが訓練する相手と同じくらい強い。
私たちはGin Rummyのために強力な、固定されたルールベースのエキスパートを構築し、それをヤードスティックとしてのみ使用し、トレーニングには使用しません。
100ラン以上にわたって、軽量エージェントを強くする要因を分離します。
論文 参考訳（メタデータ） (2026-07-07T23:11:21Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - Near-Optimal Last-Iterate Convergence for Zero-Sum Games with Bandit Feedback and Opponent Actions [43.45624707071202]
ゲームにおける学習力学の最後の項目収束は、近年大きな注目を集めている。
我々は, t(-1/2) の終点収束は, バンディットフィードバックを持つゲームにおいて高い確率で達成可能であることを示す。
論文 参考訳（メタデータ） (2026-05-10T06:23:19Z) - Can Large Language Models Develop Strategic Reasoning? Post-training Insights from Learning Chess [54.5355907369231]
チェスにおける強化学習(RL)を通して,大規模言語モデル (LLM) が戦略的推論能力を発達させることができるかを検討する。
以上の結果から, 蒸留法に基づく高密度報酬は, 希少な二進報酬よりも優れていることが示唆された。
我々は、チェス推論訓練におけるSFTおよびRLの略語を提供し、この制限が、事前訓練されたモデルのチェスに対する内部理解の欠如に起因する証拠を見つける。
論文 参考訳（メタデータ） (2025-07-01T13:16:34Z) - AlphaZero Gomoku [9.434566356382529]
我々は、AlphaZeroを「Five in a Row」とも呼ばれる古くからのボードゲーム「Gomoku」に拡張する。
我々のテストは、Go以外のゲームに適応するAlphaZeroの汎用性を示している。
論文 参考訳（メタデータ） (2023-09-04T00:20:06Z) - Know your Enemy: Investigating Monte-Carlo Tree Search with Opponent
Models in Pommerman [14.668309037894586]
強化学習(Reinforcement Learning)と組み合わせて、モンテカルロ木探索(Monte-Carlo Tree Search)はChess、Shogi、Goといったゲームにおいて、人間のグランドマスターよりも優れていることを示した。
汎用マルチプレイヤーゲームからシングルプレイヤーゲームと2プレイヤーゲームに変換する手法について検討する。
論文 参考訳（メタデータ） (2023-05-22T16:39:20Z) - Mastering the Game of No-Press Diplomacy via Human-Regularized
Reinforcement Learning and Planning [95.78031053296513]
ノープレス外交(No-press Diplomacy)は、協力と競争の両方を含む複雑な戦略ゲームである。
我々は、人間の模倣学習ポリシーに対する報酬最大化ポリシーを規則化する、DiL-piKLと呼ばれる計画アルゴリズムを導入する。
RL-DiL-piKLと呼ばれる自己再生強化学習アルゴリズムに拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-10-11T14:47:35Z) - A Unified Approach to Reinforcement Learning, Quantal Response
Equilibria, and Two-Player Zero-Sum Games [104.3339905200105]
この研究は、ミラー降下と非ユークリッド近位勾配アルゴリズムにインスパイアされた、磁気ミラー降下と呼ばれるアルゴリズムを研究する。
我々の貢献は、2人のプレイヤーゼロサムゲームにおける平衡解法および強化学習へのアプローチとしての磁気ミラー降下の利点を実証することである。
論文 参考訳（メタデータ） (2022-06-12T19:49:14Z) - Improve Agents without Retraining: Parallel Tree Search with Off-Policy
Correction [63.595545216327245]
木探索(TS)における2つの大きな課題に取り組む。
我々はまず、TSと事前学習された値関数による行動選択が、元の事前学習されたエージェントと比較して性能を低下させるという、反直感的な現象を発見し、分析する。
Batch-BFS(Batch-BFS)は,木の各深さのすべてのノードを同時に前進させるGPUワイドファースト検索である。
論文 参考訳（メタデータ） (2021-07-04T19:32:24Z) - Learning to Play Sequential Games versus Unknown Opponents [93.8672371143881]
学習者が最初にプレーするゲームと、選択した行動に反応する相手との連続的なゲームについて考察する。
対戦相手の対戦相手列と対戦する際,学習者に対して新しいアルゴリズムを提案する。
我々の結果には、相手の反応の正則性に依存するアルゴリズムの後悔の保証が含まれている。
論文 参考訳（メタデータ） (2020-07-10T09:33:05Z) - Tackling Morpion Solitaire with AlphaZero-likeRanked Reward
Reinforcement Learning [4.534822382040738]
Morpion Solitaireは、紙と鉛筆で演奏される人気シングルプレーヤーゲームである。
従来の検索アルゴリズムでは良い解が見つからなかった。
我々は、ランク付け報酬として知られるアプローチを使用して、Morpion Solitaireのための強化学習セルフプレイフレームワークを作成します。
論文 参考訳（メタデータ） (2020-06-14T18:32:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。