論文の概要: Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR
- arxiv url: http://arxiv.org/abs/2609.37825v1
- Date: Tue, 29 Sep 2026 15:32:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.690017
- Title: Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR
- Title（参考訳）: Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR
- Abstract要約: $PPOは、価値推定のための自己特権のアクター批判フレームワークである。
$PPOは、一定のマージンで、常に価値推定品質を改善します。
- 参考スコア（独自算出の注目度）: 18.523561366846778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Assigning credit to intermediate steps remains a central challenge in training Large Language Models (LLMs) on multi-step reasoning tasks with sparse terminal rewards, and actor-critic methods such as PPO address this by learning value functions to construct token-level advantages. Their effectiveness, however, hinges on reliable value estimation, a difficult task requiring the critic to both assess progress toward a correct solution and anticipate an evolving policy's future behavior; errors in either can compromise credit assignment and destabilize online training. In this paper, we revisit the standard state-only formulation of value estimation and propose $π$PPO, a self-privileged actor-critic framework. By reusing verified same-prompt rollouts as contrastive evidence, $π$PPO helps the critic assess intermediate reasoning against successful and failed attempts, while preserving standard policy optimization and the deployment interface. Experiments show that $π$PPO consistently improves value-estimation quality by a substantial margin and outperforms representative actor-critic and critic-free RLVR baselines on challenging mathematical reasoning benchmarks, while remaining effective even when paired with substantially smaller asymmetric critics.
- Abstract（参考訳）: 中間段階へのクレジットの割り当ては、多段階推論タスクにおける多段階推論タスクにおけるLLM(Large Language Models)のトレーニングにおいて依然として中心的な課題であり、PPOのようなアクター批判的手法はトークンレベルの利点を構築するために値関数を学習することによってこの問題に対処する。
しかし、それらの効果は信頼性の高い価値推定に頼っているため、批評家は正しい解決策に向けた進捗を評価し、進化する政策の将来の行動を予測する必要がある。
本稿では,値推定の標準的な状態のみの定式化を再考し,自己特権型アクター批判フレームワークである$π$PPOを提案する。
検証された同一プロンプトのロールアウトを対照的な証拠として再利用することにより、$π$PPOは、標準的なポリシー最適化とデプロイメントインターフェースを維持しながら、成功と失敗に対する中間的推論を評価するのに役立つ。
実験によると、$π$PPOは、実質的なマージンによる価値推定品質を一貫して改善し、より小さな非対称な批評家とペアを組んでも有効でありながら、挑戦的な数学的推論ベンチマークにおいて、アクター批判と批評家なしのRLVRベースラインを上回っている。
関連論文リスト
- EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。
批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。
EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
論文 参考訳（メタデータ） (2026-09-29T06:15:00Z) - ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning [25.155324087465885]
ReDiPPOは、数学的推論のための参照誘導および離散化対応PPOフレームワークである。
ReDiPPOは価値推定精度を向上し、強力なポリシー最適化ベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T03:42:52Z) - Counterfactual Shapley Credit Assignment [49.39649767581182]
クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。
対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。
我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
論文 参考訳（メタデータ） (2026-07-18T23:28:20Z) - VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。
アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。
本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
論文 参考訳（メタデータ） (2026-06-18T09:44:12Z) - GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning [37.42112473325871]
不完全な情報ゲームにおけるセルフプレイ強化学習では、エージェントは部分的な観察可能性の下で行動する必要がある。
PPO(Proximal Policy Optimization)は、経験的成功を強く達成しているが、今後の行動のサンプリングにより、さらなるばらつきに悩まされている。
Q$-boosting, a variance-reduced advantage estimator based on a central action-value critic, and proposed Variance-reduced Policy Optimization (VRPO)。
VRPOは、Dou DizhuやHeads-Up No-Limit Texas Hold'emといった中規模から大規模まで、一貫して強力なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-05-19T01:07:39Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。
MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。
我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
論文 参考訳（メタデータ） (2026-04-13T15:18:51Z) - Bringing Value Models Back: Generative Critics for Value Modeling in LLM Reinforcement Learning [18.371323066068104]
信用割当は強化学習(RL)における中心的課題である
本稿では,1ショットスカラー値の予測を生成評論家に置き換えるジェネラティブ・アクター・クリティカル(Generative Actor-Critic, GenAC)を提案する。
GenACは、値近似、ランキング信頼性、アウト・オブ・ディストリビューションの一般化を改善している。
論文 参考訳（メタデータ） (2026-04-12T15:54:11Z) - Evaluation-Aware Reinforcement Learning [10.594563233900004]
政策評価は、安全および性能クリティカルなシステムをデプロイするための前提条件であることが多い。
本稿では,評価対応強化学習(EvA-RL)を提案する。
EvA-RLは競合リターンを維持しつつ評価誤差を大幅に低減できることを示す。
論文 参考訳（メタデータ） (2025-09-23T18:17:21Z) - Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。
SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。
分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文 参考訳（メタデータ） (2025-01-10T05:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。