論文の概要: Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening

• arxiv url: http://arxiv.org/abs/2609.18708v1
• Date: Wed, 16 Sep 2026 14:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.834666
• Title: Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening
• Title（参考訳）: PPOにおける批判的学習の再考 - 価値のフラット化の理解と緩和
• Abstract要約: 大規模言語モデルの強化学習において、PPO(Proximal Policy Optimization)は一般に、状態値の見積とポリシー更新のばらつきの軽減に批判を用いる。 PPO批判者には,バリューフラットニング(Value Flattening)と呼ばれる,系統的な障害モードが発見されました。 応答毎に3つの状態しか管理していないSP$3$Oは、バリューフレッテニングを緩和し、モデルのサイズや評価スイートをまたいだ学習ポリシーを一貫して改善できることを示す。
• 参考スコア（独自算出の注目度）: 59.760642080660695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reinforcement learning for large language models, Proximal Policy Optimization (PPO) commonly uses a critic to estimate state values and reduce the variance of policy updates. However, we uncover a systematic failure mode in PPO critics, which we call Value Flattening: state values, estimated from multiple Monte Carlo continuations, change sharply across intermediate states while critic predictions remain comparatively flat. We further observe this phenomenon in a controlled FrozenLake environment and find that it becomes more pronounced as the state space grows. Our theoretical and empirical analyses relate Value Flattening to an implicit variance penalty in the critic loss and redundant updates from temporally correlated states with similar gradients. Motivated by these findings, we introduce SParse Proximal Policy Optimization (SP$^3$O), which applies the value loss to only a few well-separated states in each response to mitigate both effects. Experiments on Qwen3-Base show that SP$^3$O with only three states supervised per response can mitigate Value Flattening and consistently improve the learned policy across model sizes and evaluation suites. Together, our results identify Value Flattening as an important yet overlooked failure mode of critic learning in standard PPO and show that a simple sparse supervision strategy can mitigate it.
• Abstract（参考訳）: 大規模言語モデルの強化学習において、PPO(Proximal Policy Optimization)は一般に、状態値の見積とポリシー更新のばらつきの軽減に批判を用いる。 しかし、PPO批判者の間では、複数のモンテカルロ連続性から推定される状態値が中間状態に急激な変化を示す一方で、批判的予測は比較的平坦なままである。 我々はこの現象を制御された冷凍湖環境で観察し、状態空間が大きくなるにつれてより顕著になることを示した。 我々の理論的および実証的な分析は、批判的損失における暗黙の分散ペナルティと、同様の勾配を持つ時間的相関状態からの冗長な更新に関連する。 これらの結果に触発され,SParse Proximal Policy Optimization (SP$^3$O) を導入し,両効果を緩和するために,各応答において有意な分離状態のみに値損失を適用した。 Qwen3-Baseの実験によると、SP$^3$Oは応答毎に3つの状態しか管理していないため、バリューフレッテニングを緩和し、モデルのサイズや評価スイートをまたいだ学習ポリシーを一貫して改善できる。 この結果から,従来のPPOにおける批判的学習の失敗モードとして,バリューフレーテニングが重要でありながら見過ごされがちであることを示すとともに,単純なスパース管理戦略がそれを緩和できることを示す。

関連論文リスト

• Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap [8.291484471359633]
  標準A/Bテストプロトコルにおける重要な非効率性を同定する。 治療とコントロールポリシーが行動に一致した場合、その結果はノイズに寄与するが、治療効果に関する信号はない。 本稿では,この重なり合いを利用して実験を加速する新しい実験プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-07-16T06:08:52Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Belief-State RWKV for Reinforcement Learning under Partial Observability [0.7364191922317778]
  本稿では,RWKV型リカレントシーケンスモデル上にRLのより強い定式化を提案する。 我々は、RWKVスタイルのリカレント統計から導出した、コンパクトな不確実性認識状態b_t = (_t, _t) を維持する。
  論文  参考訳（メタデータ） (2026-04-01T22:28:38Z)
• Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
  Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-10-02T04:24:27Z)
• ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages [37.12048108122337]
  本稿では, アクター批判的深層強化学習におけるベイズ推定の近似に向けてのステップを提案する。 Asynchronous Advantage Actor-Critic (A3C)アルゴリズムの3つの変更によって実装されている。
  論文  参考訳（メタデータ） (2023-06-02T11:37:22Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。