論文の概要: Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

• arxiv url: http://arxiv.org/abs/2607.10169v1
• Date: Sat, 11 Jul 2026 07:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.328289
• Title: Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
• Title（参考訳）: ユークリッド・クリッピングを超えて:リーマン等距離法最適化によるLLM RLの探索崩壊を乗り越える
• Abstract要約: PPO-Clipはユークリッド計量を用いて政策の不一致を暗黙的に測定する。 この幾何学的ミスマッチは、低確率領域において過度に保守的な更新をもたらすが、高確率領域では攻撃的であり、究極的には崩壊する。 RIPOは既存のLLM RLアルゴリズムを7つの競合レベルのベンチマークで大幅に上回っている。
• 参考スコア（独自算出の注目度）: 44.5236237359076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has become a dominant paradigm for enhancing LLMs' reasoning capabilities. However, RL algorithms with PPO-Clip are inherently limited by exploration collapse. Subsequent works remain primarily heuristic and fail to identify the essential cause of PPO-Clip's failure. This work reveals the fundamental flaw of PPO-Clip: it implicitly measures policy discrepancy using Euclidean metric, which is theoretically inconsistent with the intrinsic geometry on the policy Riemannian manifold. This geometric mismatch results in overly conservative updates in low-probability regions while aggressive in high-probability regions, ultimately collapsing exploration. To correct this geometric flaw, we propose Riemannian Isometric Policy Optimization (RIPO), which guarantees isometric policy updates on the Riemannian manifold, effectively balancing exploration and exploitation. We further show that RIPO achieves a favorable bias-variance trade-off, which stabilizes optimization. Extensive experiments demonstrate that RIPO significantly surpasses existing LLM RL algorithms across seven competition-level benchmarks (up to 60% improvement over GRPO on AIME24).
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, LLMの推論能力を高めるための主要なパラダイムとなっている。 しかし、PPO-Clipを用いたRLアルゴリズムは、探査崩壊によって本質的に制限される。 その後の研究は主にヒューリスティックであり、PPO-Clipの失敗の原因を特定できなかった。 ユークリッド計量(英語版)(Euclidean metric)は理論上はリーマン多様体(英語版)(Riemannian manifold)の内在幾何学と矛盾する。 この幾何学的ミスマッチは、低確率領域において過度に保守的な更新をもたらすが、高確率領域では攻撃的であり、究極的には崩壊する。 この幾何学的欠陥を修正するために、リーマン多様体上の等尺的ポリシー更新を保証し、探索と利用の効果的なバランスをとるRIPO(Riemannian Isometric Policy Optimization)を提案する。 さらに、RIPOは、最適化を安定させる好ましいバイアス分散トレードオフを達成することを示す。 大規模な実験によると、RIPOは既存のLLM RLアルゴリズムを7つの競合レベルのベンチマークで大幅に上回っている(AIME24のGRPOよりも最大60%改善している)。

関連論文リスト

• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Bounded Ratio Reinforcement Learning [62.09379476369526]
  本稿では,BRRL(Bunded Ratio Reinforcement Learning)フレームワークを導入し,都市部における強化学習の課題を解決する。 本稿では,BRRL の最適化手法であるBunded Policy Optimization (BPO) を開発した。 特に,我々のフレームワークは,PPO損失の成功を解釈する新たな理論レンズを提供し,信頼領域政策最適化とクロスエントロピー法(CEM)を接続する。
  論文  参考訳（メタデータ） (2026-04-20T17:59:01Z)
• Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
  モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。 そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:40:12Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Non-Asymptotic Global Convergence of PPO-Clip [23.221917827987625]
  本稿では,一般RL設定における決定論的アクターのみのPPOアルゴリズムを解析することにより,PPO-Clipアルゴリズムの理論的基礎を推し進める。 この問題に対して不均一リプシッツの滑らか度条件と Ojasiewicz の不等式を導出する。
  論文  参考訳（メタデータ） (2025-12-18T14:06:37Z)
• Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation [10.35045003737115]
  分散シフトによる意思決定は、トレーニングとデプロイメント環境が異なる強化学習(RL)における中心的な課題である。 本稿では,モデルのないオンラインポリシー最適化手法DR-RPOを提案する。 DR-RPO は,ロバストな RL における準最適境界とサンプル効率を実現し,値に基づく手法の性能に適合することを示す。
  論文  参考訳（メタデータ） (2025-10-16T02:56:58Z)
• Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends [64.71326476563213]
  大規模言語モデル(LLM)の非政治強化学習が注目されている。 本稿では,特定のトレーニングデータ分布を仮定することなく,グループ化型REINFORCEの第一原理導出について述べる。 この観点は、REINFORCEを非政治的な設定に適応するための2つの一般的な原則をもたらす。
  論文  参考訳（メタデータ） (2025-09-29T02:34:54Z)
• StaQ it! Growing neural networks for Policy Mirror Descent [4.672862669694739]
  強化学習(RL)では、理論と実践の両方において、正規化が一般的なツールとして現れている。 我々は,最後の$M$Q関数のみをメモリに保持するPMDのようなアルゴリズムを提案し,解析する。 有限で十分大きい$M$に対して、収束アルゴリズムを導出することができ、ポリシー更新にエラーは発生しない。
  論文  参考訳（メタデータ） (2025-06-16T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。