論文の概要: Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL

• arxiv url: http://arxiv.org/abs/2610.13020v1
• Date: Fri, 09 Oct 2026 05:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.403996
• Title: Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
• Title（参考訳）: 軌道対応政策最適化:長軸LLM RLにおける状態分布ギャップの閉鎖
• Abstract要約: 軌道対応政策最適化(英: Trajectory-Aware Policy Optimization、TAPO)は、理論上、非政治政策勾配から状態分配補正を導出する原則的枠組みである。 TAPOは8つの競合レベルのベンチマークで既存のLLM RLアルゴリズムを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 30.167765219163673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has become a dominant paradigm for enhancing LLMs' reasoning capabilities. Yet long-horizon autoregressive rollouts introduce a fundamental limitation: local policy mismatch can compound into severe state distribution shift over trajectories. Existing LLM RL methods, such as GRPO and GSPO, control policy mismatch at the token or sequence level, but overlook this trajectory-induced shift, causing training instability and eventual collapse as the horizon grows. To close the state distribution gap, we propose Trajectory-Aware Policy Optimization (TAPO), a principled framework that theoretically derives the state-distribution correction from the off-policy policy gradient and incorporates it into the RL objective. TAPO further employs a geometric-mean estimator for variance reduction, together with a length-aware dynamic clipping that prevents overly deviated updates across the trajectory. Extensive experiments demonstrate that TAPO significantly surpasses existing LLM RL algorithms across eight competition-level benchmarks, achieving up to 48% and 12% improvement over GRPO on mathematical reasoning and algorithmic coding, with substantially enhanced training stability.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, LLMの推論能力を高めるための主要なパラダイムとなっている。 しかし、長期にわたる自己回帰的なロールアウトは、基本的な制限をもたらす: ローカルポリシーのミスマッチは、軌跡よりも厳しい状態分布シフトに複雑化する。 既存のLLM RL法、例えばGRPOやGSPOはトークンやシーケンスレベルでのポリシーミスマッチを制御するが、この軌道によるシフトを見落とし、水平線が大きくなるにつれてトレーニングの不安定性と最終的な崩壊を引き起こす。 状態分布のギャップを埋めるため,理論上は非政治政策勾配から状態分布補正を導出し,それをRL目標に組み込む基本的枠組みであるトラジェクティブ・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。 TAPOはさらに、分散低減のための幾何学的平均推定器と、軌道を横断する過度にずれた更新を防止する長さ対応のダイナミッククリッピングを採用している。 大規模な実験により、TAPOは8つの競合レベルのベンチマークで既存のLLM RLアルゴリズムを大幅に上回り、数学的推論とアルゴリズム符号化においてGRPOよりも最大48%、最大12%改善され、トレーニング安定性が大幅に向上した。

関連論文リスト

• Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization [44.5236237359076]
  PPO-Clipはユークリッド計量を用いて政策の不一致を暗黙的に測定する。 この幾何学的ミスマッチは、低確率領域において過度に保守的な更新をもたらすが、高確率領域では攻撃的であり、究極的には崩壊する。 RIPOは既存のLLM RLアルゴリズムを7つの競合レベルのベンチマークで大幅に上回っている。
  論文  参考訳（メタデータ） (2026-07-11T07:19:59Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
  モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。 そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:40:12Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning [59.11784194183928]
  政策勾配アルゴリズムは大規模言語モデル(LLM)の推論能力の向上に成功している。 規則化されたポリシーグラディエント(RPG)ビューは、広く使われている$k_3$ペナルティが、正確には非正規化されたKLであることを示している。 RPG-REINFORCE with RPG-Style Clipは、DAPOよりも最大6ドル以上の絶対パーセンテージポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T06:01:21Z)
• CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models [11.295986905174635]
  ルールベース強化学習(RL)は、ルールベース報酬を用いた言語モデル(LM)の推論能力を改善した。 既存のRLメソッドは、大きなポリシー更新と不適切なクリッピングがトレーニングの崩壊につながるような、トレーニングの不安定さに悩まされることが多い。 本稿では,政策学習の安定化を目的とした新しいアルゴリズムCPGDを提案する。
  論文  参考訳（メタデータ） (2025-05-18T17:44:53Z)
• Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning [22.333460316347264]
  本稿では,拡散型ポリシーに適した行動規則化RLフレームワークであるBDPOを紹介する。 我々は,行動制約を尊重しながら最適なポリシーを生成する,効率的な2時間スケールアクタークリティカルなRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-02-07T09:30:35Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。