論文の概要: Start Classifying: Categorical Critics for LLM Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.02181v1
- Date: Mon, 03 Aug 2026 13:05:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.571605
- Title: Start Classifying: Categorical Critics for LLM Reinforcement Learning
- Title（参考訳）: 始める: LLM強化学習のカテゴリー的批判
- Authors: Zhijian Zhou, Long Li, Xuan Zhang, Zongkai Liu, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi,
- Abstract要約: HL-Gauss PPOは、スカラーMSEヘッドを、離散値サポートよりもカテゴリー予測器で置き換える。
強いPPOとDAPOのベースラインを継続的に改善する。
1ホット、2ホット、ベルヌーイの2ビンの批判による制御は、より大きな出力ヘッドもバイナリ分類も利得を説明できないことを示している。
- 参考スコア（独自算出の注目度）: 35.51572984401546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proximal Policy Optimization (PPO) for large language models typically trains its critic by mean-squared-error (MSE) regression on scalar value targets. Although scalar MSE is statistically valid for estimating the conditional expected return, sparse binary rewards in reinforcement learning with verifiable rewards (RLVR) make critic optimization and calibration especially consequential: small value errors directly distort the scalar advantages used by PPO. We study whether a classification-based training objective can improve this critic signal. HL-Gauss PPO replaces the scalar MSE head with a categorical predictor over a discretized value support, trained by cross-entropy against smoothed HL-Gauss targets. Its output is decoded to a scalar expectation for standard GAE and PPO; the actor update is therefore unchanged and is not distributional. Across mathematical reasoning, tool-augmented math, and Search-R1, and on both Qwen2.5 and Qwen3 backbones, HL-Gauss PPO consistently improves over strong PPO and DAPO baselines. Controls with one-hot, two-hot, and Bernoulli two-bin critics show that neither a larger output head nor binary classification alone explains the gains. On a common collection of reasoning prefixes, HL-Gauss improves Brier score and calibration error and yields more symmetric, lower-variance advantages. These results position categorical value learning as an effective optimization surrogate for PPO critics in RLVR.
- Abstract（参考訳）: 大規模言語モデルのPPO(Proximal Policy Optimization)は通常、スカラー値のターゲットに対する平均二乗誤差(MSE)回帰によって批判を訓練する。
スカラーMSEは、条件付き期待したリターンを推定するのに統計的に有効であるが、検証可能な報酬(RLVR)による強化学習における疎二元報酬は、特に批評家の最適化と校正を行い、小さな値誤差は、PPOが使用するスカラーのアドバンテージを直接歪ませる。
分類に基づく学習目標が、この批判信号を改善することができるかどうかを検討する。
HL-Gauss PPOは、スカラーMSEヘッドを、滑らかなHL-Gaussターゲットに対するクロスエントロピーによって訓練された、離散値サポート上のカテゴリー予測器で置き換える。
出力は標準GAEとPPOのスカラー期待値にデコードされるため、アクター更新は変更されず、分散的ではない。
Qwen2.5 と Qwen3 のバックボーンでは、HL-Gauss PPO は強い PPO と DAPO のベースラインを一貫して改善している。
1ホット、2ホット、ベルヌーイの2ビンの批判による制御は、より大きな出力ヘッドもバイナリ分類も利得を説明できないことを示している。
推論プレフィックスの共通コレクションでは、HL-Gauss は Brier スコアとキャリブレーション誤差を改善し、より対称的で低分散の利点をもたらす。
これらの結果は、RLVRにおけるPPO評論家の効果的な最適化サロゲートとして分類値学習を位置づけている。
関連論文リスト
- Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。
本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。
CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文 参考訳（メタデータ） (2026-05-14T08:22:21Z) - Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。
我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
論文 参考訳（メタデータ） (2026-05-08T06:35:02Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。
既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。
本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2026-01-26T21:38:20Z) - Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training [17.530233901658253]
セグメンショナルアドバンテージ推定は、一般化アドバンテージ推定が検証されたリワードを用いた強化学習において生じるバイアスを緩和する。
SAEは、最終的なスコア、安定性、サンプル効率を著しく改善し、優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-12T08:41:47Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳（メタデータ） (2025-10-06T17:58:01Z) - Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。
AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。
強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
論文 参考訳（メタデータ） (2025-10-02T04:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。