論文の概要: CompassPlay: Rewarding the Proposer for Where It Moves the Solver

• arxiv url: http://arxiv.org/abs/2609.32228v1
• Date: Sat, 26 Sep 2026 04:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:43:50.972866
• Title: CompassPlay: Rewarding the Proposer for Where It Moves the Solver
• Title（参考訳）: CompassPlay: ソルバーを動かす場所のプロポーラをリワードする
• Abstract要約: プロポーラの報酬は、しばしば解決者の成功率に依存するが、同じくらい難しいタスクは、トレーニングの価値で異なることがある。 我々は,アライメントアライメントを通じて提案者に報酬を与えるセルフプレイ手法であるCompassPlayを紹介した。
• 参考スコア（独自算出の注目度）: 55.41622276999673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In self-play, a proposer generates verifiable tasks to train a solver. Proposer rewards often depend on the solver's success rate, but equally difficult tasks can differ in their training value. We introduce CompassPlay, a self-play method that rewards the proposer through gradient alignment. The reward favors tasks whose solver loss gradients align with those of reference tasks representing the target capabilities. It draws on a first-order approximation to learning progress and scores each eligible task without additional solver training. Our experiments show gains in performance and training efficiency. In coding self-play with Qwen2.5-Coder-7B, a small external reference set guides task generation. CompassPlay improves average accuracy over AZR's difficulty reward by 1.5 percentage points on in-domain coding and 2.7 on out-of-domain mathematics. In Lean4 theorem proving, CompassPlay matches the difficulty baseline's 150-iteration cumulative coverage with 40\% fewer GPU-hours.
• Abstract（参考訳）: セルフプレイでは、提案者が解決者の訓練を行うための検証可能なタスクを生成する。 プロポーラの報酬は、しばしば解決者の成功率に依存するが、同じくらい難しいタスクは、トレーニングの価値で異なることがある。 我々は,アライメントアライメントを通じて提案者に報酬を与えるセルフプレイ手法であるCompassPlayを紹介した。 報酬は、目標能力を表す参照タスクと、ソルバ損失勾配が一致したタスクを好む。 1次近似で進捗を学習し、追加のソルバトレーニングなしで各タスクをスコア付けする。 我々の実験は、性能と訓練効率が向上していることを示している。 Qwen2.5-Coder-7Bによるセルフプレイでは、小さな外部参照セットがタスク生成をガイドする。 CompassPlayはAZRの難易度に対する平均精度を、ドメイン内コーディングで1.5ポイント、ドメイン外数学で2.7ポイント向上させる。 Lean4の定理証明では、CompassPlayは難易度ベースラインの150項目の累積カバレッジと40%のGPU時間で一致している。

関連論文リスト

• Teach to Learn: Hint Annealing for Self-improving LLM Reasoning [20.788513084968827]
  グループ相対ポリシー最適化は、クエリ毎に複数のソリューションロールアウトで検証された報酬を比較することで、言語モデル推論を改善する。 従来のヒントベースのメソッドは、ソリューションエビデンスから補助的なヒントを構築し、それらを使用して失敗したクエリを再解決する。 我々は、支援なしに推論を改善するために、独自のヒントの生成と使用の両方から学習するオンライン単一政治フレームワークであるHATCHを提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:53:35Z)
• CAST: Game Solvers as Turn-Level Teachers for LLM Agents [78.2379284312811]
  大きな言語モデル(LLM)を訓練して、長距離ゲームで動作させることは、ジェネラリストの意思決定に向けた有望なステップである。 デンサープロセスの信号はこのターンレベルの信用を欠く可能性があるが、既存の情報源は安価で正確な情報を維持することは難しい。 本稿では,ゲームソルバの状態値の変化をデザイナの利点に変換し,ターンレベルの信号としてRLVRに注入するCASTを提案する。
  論文  参考訳（メタデータ） (2026-07-28T05:39:01Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Accelerating Inverse Reinforcement Learning with Expert Bootstrapping [13.391861125428234]
  専門家による実験をうまく活用することで、内部のRLループでのハード探索の必要性を低減できることを示す。 具体的には、(1)内部RLアルゴリズムの再生バッファに専門家遷移を配置する(例えば、ソフトアクター批判)ことで学習者に高い報酬状態を直接通知し、(2)Q値のブートストラップにおけるエキスパートアクションを使用して目標Q値の推定を改善し、より正確に高価値のエキスパート状態を記述する。
  論文  参考訳（メタデータ） (2024-02-04T20:49:53Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• CGAR: Critic Guided Action Redistribution in Reinforcement Leaning [27.8704943323583]
  本稿では,CGAR(Critic Guided Action Redistribution)アルゴリズムを導入し,OpenAI MuJoCoタスク上でテストする。 政治以外のアクター評論家アルゴリズムの設定の下では、批評家は少なくとも俳優に匹敵するよりも、予想される割引報酬を得られることを実証する。
  論文  参考訳（メタデータ） (2022-06-23T06:33:14Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。