論文の概要: ESPO: Early-Stopping Proximal Policy Optimization

• arxiv url: http://arxiv.org/abs/2605.29860v1
• Date: Thu, 28 May 2026 12:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.245627
• Title: ESPO: Early-Stopping Proximal Policy Optimization
• Title（参考訳）: ESPO: 早期戦略最適化
• Authors: Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye,
• Abstract要約: ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
• 参考スコア（独自算出の注目度）: 78.79610718910628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a large language model under reinforcement learning commits a wrong reasoning step early in a trajectory, standard algorithms force it to keep generating until the maximum horizon, spending compute on tokens that never receive positive reward and polluting advantage estimates with post-failure noise. We propose ESPO (Early-Stopping Proximal Policy Optimization), which detects trajectory failure on-the-fly and terminates rollouts early. At each generation step, ESPO computes a surrogate regret using only the logits already computed during sampling, and terminates when the smoothed cumulative regret significantly exceeds its estimated values. Truncated trajectories are treated as absorbing failure states with a terminal reward, concentrating negative temporal-difference (TD) errors near the detected failure step without any additional reward model or human annotation. On DeepSeek-R1-Distill-Qwen-7B trained for mathematical reasoning, ESPO surpasses PPO on AIME~2024 (46.28% vs. 45.25%), AMC~2023 (85.83% vs. 82.94%), and MATH-500 (87.42% vs. 85.43%), while saving more than 20% rollout tokens cumulatively.
• Abstract（参考訳）: 強化学習中の大きな言語モデルが軌道の早い段階で間違った推論ステップをコミットすると、標準アルゴリズムはそれを最大地平線まで生成し続けるように強制し、正の報奨を受けないトークンを計算し、障害後の雑音で有利な見積もりを汚染する。 そこで我々はESPO(Early-Stopping Proximal Policy Optimization)を提案する。 各生成ステップにおいて、ESPOはサンプリング中に既に計算されたロジットのみを使用して代理後悔を計算し、スムーズな累積後悔が推定値を大幅に上回った場合に終了する。 Trncated trajectoriesは、検出された障害ステップの近くに負の時間差誤差を集中させ、追加の報酬モデルや人間のアノテーションを伴わずに、終末報酬で故障状態を吸収するものとして扱われる。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME~2024(46.28%対45.25%)、AMC~2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回り、20%以上のロールアウトトークンを累積的に保存している。

関連論文リスト

• Learn Where Outcomes Diverge: Efficient VLA RL via Probabilistic Chunk Masking [5.238545250784642]
  本稿では,軌道毎のチャンクの小さな確率的に選択されたサブセットに勾配を割り当てるGRPOのドロップイン修正である確率的チャンクマスキング(PCM)を提案する。 3つのLIBEROベンチマークでは、PCMは標準GRPOの最終的な成功率と一致し、2.38倍のウォールクロック速度、4.8倍の勾配更新、60%のピークアクティベーションメモリを達成した。
  論文  参考訳（メタデータ） (2026-05-15T16:33:59Z)
• LaTER: Efficient Test-Time Reasoning via Latent Exploration and Explicit Verification [35.08680804423239]
  CoT(Chain-of- Thought)推論は、難しいタスクにおいて大きな言語モデル(LLM)を改善するが、推論コストも高くつく。 本稿では,連続潜伏空間における有界探索を最初に行う2段階のパラダイムであるLaTERを提案する。 LaTERは入力の埋め込み空間に隠された最後の層を投影し、潜伏KVキャッシュを保持し、エントロピーとモデルネイティブのストップトーケンプローブを使用していつ切り替えるかを決定する。
  論文  参考訳（メタデータ） (2026-05-08T06:23:58Z)
• FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization [84.58281577727566]
  本稿では,大規模言語モデルにおける推論ボトルネックを克服する強化学習アルゴリズムであるFuture-KL Influenced Policy Optimization (FIPO)を提案する。 FIPOは、割引先KLの分岐をポリシー更新に組み込むことでこの問題に対処し、その後の軌道行動への影響に基づいてトークンを再重み付けする密集した有利な定式化を作成する。 Qwen2.5-32Bで評価され、FIPOは平均チェーン長を約4,000から10,000以上のトークンに拡張し、AIME 2024 Pass@1の精度を50.0%から58.0%に向上させた。
  論文  参考訳（メタデータ） (2026-03-20T10:24:50Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection [16.838728310658105]
  本稿では,Certainty-Aware Probability (CAP)スコアに基づく新しい早期退避手法を提案する。 本研究では,各タスクの平均高速化率は2.19倍であり,性能劣化は無視できることを示す。
  論文  参考訳（メタデータ） (2025-06-08T05:08:34Z)
• Iterative Reasoning Preference Optimization [84.15992372132507]
  生成したChain-of-Thought(CoT)候補間の嗜好を最適化するための反復的アプローチを開発する。 このスキームの繰り返し繰り返しにおける推論の改善を示す。 例えば、GSM8Kは55.6%から81.6%に大きく改善され、精度は88.7%となり、32のサンプルのうち多数が投票した。
  論文  参考訳（メタデータ） (2024-04-30T17:28:05Z)
• A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks [3.682712058535653]
  A2P-MANNと呼ばれるオンラインアダプティブアプローチを提案し、メモリ拡張ニューラルネットワークで必要な注意推論ホップ数を制限する。 この技術は、正しい解を抽出する際に不要な大量の計算を除去する。 この手法の有効性は,bAbIデータセットの質問応答(QA)タスクを用いて評価する。
  論文  参考訳（メタデータ） (2021-01-24T12:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。