論文の概要: Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training

• arxiv url: http://arxiv.org/abs/2601.07320v1
• Date: Mon, 12 Jan 2026 08:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.291788
• Title: Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training
• Title（参考訳）: セグメントアドバンテージ推定:長期LLMトレーニングのためのPPOの強化
• Authors: Xue Gong, Qi Yi, Ziyuan Nan, Guanhua Huang, Kejiao Li, Yuhao Jiang, Ruibin Xiong, Zenan Xu, Jiaming Guo, Shaohui Peng, Bo Zhou,
• Abstract要約: セグメンショナルアドバンテージ推定は、一般化アドバンテージ推定が検証されたリワードを用いた強化学習において生じるバイアスを緩和する。 SAEは、最終的なスコア、安定性、サンプル効率を著しく改善し、優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 17.530233901658253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Large Language Models (LLMs) for reasoning tasks is increasingly driven by Reinforcement Learning with Verifiable Rewards (RLVR), where Proximal Policy Optimization (PPO) provides a principled framework for stable policy updates. However, the practical application of PPO is hindered by unreliable advantage estimation in the sparse-reward RLVR regime. This issue arises because the sparse rewards in RLVR lead to inaccurate intermediate value predictions, which in turn introduce significant bias when aggregated at every token by Generalized Advantage Estimation (GAE). To address this, we introduce Segmental Advantage Estimation (SAE), which mitigates the bias that GAE can incur in RLVR. Our key insight is that aggregating $n$-step advantages at every token(as in GAE) is unnecessary and often introduces excessive bias, since individual tokens carry minimal information. Instead, SAE first partitions the generated sequence into coherent sub-segments using low-probability tokens as heuristic boundaries. It then selectively computes variance-reduced advantage estimates only from these information-rich segment transitions, effectively filtering out noise from intermediate tokens. Our experiments demonstrate that SAE achieves superior performance, with marked improvements in final scores, training stability, and sample efficiency. These gains are shown to be consistent across multiple model sizes, and a correlation analysis confirms that our proposed advantage estimator achieves a higher correlation with an approximate ground-truth advantage, justifying its superior performance.
• Abstract（参考訳）: タスク推論のための大規模言語モデル(LLMs)のトレーニングは、RLVR(Reinforcement Learning with Verifiable Rewards)によってますます推進され、PPO(Proximal Policy Optimization)は安定したポリシー更新のための原則化されたフレームワークを提供する。 しかし, スパース・リワードRLVR方式におけるPPOの実用的適用は, 信頼性の低い優位性推定によって妨げられる。 この問題は、RLVRのスパース報酬が不正確な中間値予測につながり、一般アドバンテージ推定(GAE)によって各トークンに集約されたときに大きなバイアスが生じるためである。 そこで本研究では,GAEがRLVRで生み出すバイアスを緩和するSegmental Advantage Estimation (SAE)を提案する。 キーとなる洞察は、各トークン(GAEなど)で$n$-stepのアドバンテージを集約することは不要であり、個々のトークンが最小限の情報を持っているため、しばしば過度なバイアスが発生するということです。 代わりに、SAEは生成したシーケンスを、低確率トークンをヒューリスティック境界として、コヒーレントなサブセグメントに分割する。 そして、これらの情報豊富なセグメント遷移からのみ、分散還元利得推定を選択的に計算し、中間トークンからノイズを効果的に除去する。 実験の結果,SAEはファイナルスコア,トレーニング安定性,サンプル効率を著しく向上し,優れた性能を発揮することが示された。 これらの利得は複数のモデルサイズで一致していることが示され、相関解析により、提案した利得推定器は、その優れた性能を正当化し、近似的な地道優位性と高い相関を達成できることを確認した。

関連論文リスト

• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• ICPO: Intrinsic Confidence-Driven Group Relative Preference Optimization for Efficient Reinforcement Learning [17.98065634130798]
  固有信頼駆動型グループ相対選好最適化法(ICPO)を提案する。 ICPOは、複数の応答の相対生成確率を同一の入力プロンプトで比較することにより、各応答に対する優先優位スコアを算出する。 優先的優位性スコアは、粗大な報酬や報奨ノイズの問題を緩和するだけでなく、過度に信頼された誤りを効果的に抑制することを発見した。
  論文  参考訳（メタデータ） (2025-11-26T03:10:15Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• ASPO: Asymmetric Importance Sampling Policy Optimization [31.38346888572171]
  ポジティブアドバンテージトークンのImportance Smpling(IS)比は不一致であり、正および負のトークンに対するアンバランストークン重み付けにつながる。 このミスマッチは、既に高確率のトークンを過剰に増幅しながら、低確率トークンの更新を抑制する。 我々は,IS比の正アドバンテージトークンを反転させるシンプルかつ効果的な戦略を用いた非対称的重要度サンプリングポリシー最適化(ASPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:54:24Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)
• KTAE: A Model-Free Algorithm to Key-Tokens Advantage Estimation in Mathematical Reasoning [19.25257653416883]
  Key-token Advantage Estimation (KTAE)は、新たなモデルを導入することなく、きめ細かいトークンレベルの利点を推定する新しいアルゴリズムである。 GRPO+KTAEとDAPO+KTAEで訓練されたモデルは、5つの数学的推論ベンチマークにおいてベースライン法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-22T16:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。