論文の概要: EasyPPO: Stabilizing the Critic Is Key

• arxiv url: http://arxiv.org/abs/2609.36802v1
• Date: Tue, 29 Sep 2026 06:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.230964
• Title: EasyPPO: Stabilizing the Critic Is Key
• Title（参考訳）: EasyPPO: 批判の安定化が鍵
• Abstract要約: PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。 批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。 EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
• 参考スコア（独自算出の注目度）: 57.76826550536797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key strength of Proximal Policy Optimization (PPO) is its learned critic, which uses historical trajectories collected during reinforcement learning to estimate expected returns and reduce policy-gradient variance. However, we find that the critic is also a major source of instability in reinforcement learning for large language models (LLMs). We identify two critic failure modes that destabilize PPO. First, filtering truncated rollouts from both actor and critic shifts the policy objective to reward conditioned on completion, allowing truncation to increase even as conditional reward improves. Second, heterogeneous return noise can cause high-variance prompts to dominate critic updates in finite batches. We introduce EasyPPO to address these failures. Actor-only overlong filtering trains the critic on returns from both completed and truncated rollouts. Noise-normalized critic regression weights each prompt's critic loss by the inverse standard deviation of its sampled returns, balancing noise contributions across prompts. Moderately smaller critic mini-batches confine outlier influence to fewer rollouts during gradient clipping. Across continuous-reward coding on FrontierCS, binary-reward mathematical reasoning on AIME24, and multi-turn search on Search-R1, EasyPPO remains stable throughout the full training horizon and consistently outperforms vanilla PPO, VAPO, and HL-Gauss PPO. Its best validation scores show relative gains of 14.89%, 2.28%, and 9.47% over PPO, respectively.
• Abstract（参考訳）: PPO(Proximal Policy Optimization)の重要な強みは、強化学習中に収集された歴史的軌跡を用いて、期待されるリターンを推定し、政策の緩やかな分散を減少させる学習評論家である。 しかし、この批判は、大規模言語モデル(LLM)の強化学習における不安定性の主要な原因でもある。 PPOを不安定化する2つの批判的失敗モードを同定する。 第一に、アクターと批評家の双方から切り離されたロールアウトをフィルタリングすることで、条件付き報酬が改善しても切り離しが増加し、ポリシー目標を完了時に条件付き報酬にシフトさせる。 第2に、不均一なリターンノイズは、有限バッチにおける批判的更新を左右する高分散プロンプトを引き起こす可能性がある。 これらの障害に対処するためにEasyPPOを導入します。 俳優のみのオーバーロングフィルタリングは、完成したロールアウトと切り捨てられたロールアウトの両方からのリターンについて批評家を訓練する。 ノイズ正規化批評家の回帰は、各プロンプトのレターンの逆標準偏差によって各プロンプトの批評家の損失を重み付け、プロンプト間のノイズコントリビューションのバランスをとる。 適度に小さな批評家のミニバッチは、勾配クリッピング中のロールアウトを減らすためにアウトリーの影響を限定する。 FrontierCS での連続再帰符号、AIME24 でのバイナリ回帰数学的推論、検索-R1 でのマルチターン探索など、EasyPPO はトレーニングの地平線全体を通して安定であり、バニラ PPO、VAPO、HL-Gauss PPO を一貫して上回っている。 評価スコアは14.89%、2.28%、9.47%である。

関連論文リスト

• Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training [12.188582747728931]
  我々は、事前訓練された批評家が将来の成果を予測する能力は、効率的なロングホライゾン推論のための貴重な資産となることを示している。 本稿では,リワードフリーポリシー最適化(RFPO)を紹介する。
  論文  参考訳（メタデータ） (2026-09-29T09:28:57Z)
• Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening [59.760642080660695]
  大規模言語モデルの強化学習において、PPO(Proximal Policy Optimization)は一般に、状態値の見積とポリシー更新のばらつきの軽減に批判を用いる。 PPO批判者には,バリューフラットニング(Value Flattening)と呼ばれる,系統的な障害モードが発見されました。 応答毎に3つの状態しか管理していないSP$3$Oは、バリューフレッテニングを緩和し、モデルのサイズや評価スイートをまたいだ学習ポリシーを一貫して改善できることを示す。
  論文  参考訳（メタデータ） (2026-09-16T14:15:24Z)
• Start Classifying: Categorical Critics for LLM Reinforcement Learning [35.51572984401546]
  HL-Gauss PPOは、スカラーMSEヘッドを、離散値サポートよりもカテゴリー予測器で置き換える。 強いPPOとDAPOのベースラインを継続的に改善する。 1ホット、2ホット、ベルヌーイの2ビンの批判による制御は、より大きな出力ヘッドもバイナリ分類も利得を説明できないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T13:05:38Z)
• PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
  ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。 既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。 本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T04:04:32Z)
• GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning [37.42112473325871]
  不完全な情報ゲームにおけるセルフプレイ強化学習では、エージェントは部分的な観察可能性の下で行動する必要がある。 PPO(Proximal Policy Optimization)は、経験的成功を強く達成しているが、今後の行動のサンプリングにより、さらなるばらつきに悩まされている。 Q$-boosting, a variance-reduced advantage estimator based on a central action-value critic, and proposed Variance-reduced Policy Optimization (VRPO)。 VRPOは、Dou DizhuやHeads-Up No-Limit Texas Hold'emといった中規模から大規模まで、一貫して強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-19T01:07:39Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
  Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-10-02T04:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。