論文の概要: UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
- arxiv url: http://arxiv.org/abs/2607.06987v1
- Date: Wed, 08 Jul 2026 04:21:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.280454
- Title: UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
- Title（参考訳）: UP:探索安定ジレンマを破るための非有界正の非対称最適化
- Abstract要約: 非有界正の非対称最適化(UP)は普遍的でプラグアンドプレイの目的である。
UPは、Stop-gradient演算子を介してポリシーを現在の状態に固定することで最適化プロセスを再構築する。
UPは探索能力を高め、多様なRLアルゴリズムにおいて優れた推論精度を達成する。
- 参考スコア（独自算出の注目度）: 32.401066562991744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) has become the standard paradigm for enhancing the complex reasoning capabilities of large language models (LLMs). To achieve sample efficiency, modern RL frameworks rely on importance sampling (IS). However, these algorithms suffer from an exploration-stability dilemma. Pure IS often leads to catastrophic training instability, while standard clipping mechanisms used to mitigate this instability strictly constrain the policy update budget. By formalizing the concept of Probability Capacity (Cap), we reveal that conservative clipping structurally stifles exploration by prematurely truncating the update budget for correct but low-confidence reasoning paths. To break free from these constraints, we propose Unbounded Positive Asymmetric Optimization (UP), a universal and plug-and-play objective. UP theoretically restructures the optimization process by anchoring the policy to its current state via the stop-gradient operator. This asymmetric design unleashes unclipped, stable gradients for positive advantages to maximize exploration, while maintaining standard clipping safeguards for negative advantages to prevent training instability. Furthermore, our formulation readily extends across different optimization granularities, including token-level (GRPO, DAPO) and sequence-level (GSPO) frameworks. Extensive experiments demonstrate that UP enhances exploration capacity and achieves superior reasoning accuracy across diverse RL algorithms (DAPO, GSPO, and GRPO), model architectures (Dense, MoE, and vision-language), and training modalities (language and multimodal), validating UP as a truly universal plug-and-play enhancement for RL-based training.
- Abstract（参考訳）: 強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力を高めるための標準パラダイムとなっている。
サンプル効率を達成するために、現代のRLフレームワークは重要サンプリング(IS)に依存している。
しかし、これらのアルゴリズムは探索安定性ジレンマに悩まされている。
純粋なISは、しばしば破滅的なトレーニング不安定を招き、標準的なクリッピングメカニズムは、この不安定を緩和するために使われ、ポリシー更新予算を厳しく制限する。
確率容量 (Cap) の概念を定式化することにより, 正確かつ信頼性の低い推論経路の更新予算を早期に切り離すことにより, 保存的クリッピングが構造的便宜を損なうことが明らかとなった。
これらの制約から解放するために、我々は普遍的でプラグアンドプレイの目的である非有界正の非対称最適化(UP)を提案する。
UPは、停止段階演算子を介してポリシーを現在の状態に固定することで、最適化プロセスを理論的に再構築する。
この非対称な設計は、探索を最大化するための正の利点のために、未開の安定した勾配を解き放つ一方で、訓練不安定を防止するために、負の利点のために標準的なクリッピング安全ガードを維持している。
さらに, トークンレベル (GRPO, DAPO) やシーケンスレベル (GSPO) フレームワークなど, 最適化の粒度が多様である。
広範な実験により、UPは探索能力を高め、様々なRLアルゴリズム(DAPO、GSPO、GRPO)、モデルアーキテクチャ(Dense、MoE、ビジョン言語)、トレーニングモダリティ(言語とマルチモーダル)にまたがる推論精度を向上し、UPをRLベースのトレーニングの真に普遍的なプラグアンドプレイ拡張として検証することを示した。
関連論文リスト
- Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。
ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。
成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
論文 参考訳（メタデータ） (2026-06-04T19:46:45Z) - PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization [2.670322123407994]
PPO-HSCは、LLM(Large Language Model)ファインチューニングにおけるモード崩壊の「見えないシャクルス」に対処する。
これは「低相似だが高相似性」推論パターンの発見を動機付ける高次サンプリングカバレッジ報酬を取り入れている。
これは、最先端のRLベースラインの正確さと構文の整合性を維持したり、超えたりしながら、ソリューションの多様性と状態空間のカバレッジを大幅に向上させる。
論文 参考訳（メタデータ） (2026-05-08T12:29:23Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。
より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。
DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文 参考訳（メタデータ） (2026-02-04T18:59:04Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。
しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。
本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-03T13:05:32Z) - Reinforcement Fine-Tuning of Flow-Matching Policies for Vision-Language-Action Models [7.316631310935769]
VLA(Vision-Language-Action)モデルは、大規模なデモンストレーションを活用することで、強力な一般化を示している。
本研究では,FPOアルゴリズムを提案する。FPOアルゴリズムは,条件付きフローマッチングの目的に対して,サンプルごとの変化を生かして,重要サンプリングを再構築する。
LIBEROベンチマークのFPOとALOHAシミュレーションタスクを、教師付き、嗜好的、拡散的、自己回帰的オンラインRLに対して評価する。
論文 参考訳（メタデータ） (2025-10-11T03:11:18Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。
我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。
その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
論文 参考訳（メタデータ） (2025-10-01T09:11:27Z) - Benefits and Pitfalls of Reinforcement Learning for Language Model Planning: A Theoretical Perspective [52.38531288378491]
強化学習(RL)法は大規模言語モデル(LLM)の計画能力を大幅に向上させた
本研究では,RLの利点と制約をグラフに基づく抽出により検討する。
我々の理論的分析から, 教師付き微調整(SFT)は共起性に基づく突発性解を導入しうるが, RLは探索によって正しい計画を立てる。
論文 参考訳（メタデータ） (2025-09-26T17:39:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。