論文の概要: Difficulty-Estimated Policy Optimization

• arxiv url: http://arxiv.org/abs/2602.06375v1
• Date: Fri, 06 Feb 2026 04:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.233439
• Title: Difficulty-Estimated Policy Optimization
• Title（参考訳）: 難易度推定政策最適化
• Authors: Yu Zhao, Fan Jiang, Tianle Liu, Bo Zeng, Yu Liu, Longyue Wang, Weihua Luo,
• Abstract要約: 推論アライメントの効率性とロバスト性を最適化する新しいフレームワークであるDifficulty-Estimated Policy Optimization (DEPO)を提案する。 提案手法は,高性能推論モデルの学習における計算障壁を大幅に減らし,推論スケーリングのためのより持続可能な経路を提供する。
• 参考スコア（独自算出の注目度）: 38.86673795561421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Large Reasoning Models (LRMs), exemplified by DeepSeek-R1, have underscored the potential of scaling inference-time compute through Group Relative Policy Optimization (GRPO). However, GRPO frequently suffers from gradient signal attenuation when encountering problems that are either too trivial or overly complex. In these scenarios, the disappearance of inter-group advantages makes the gradient signal susceptible to noise, thereby jeopardizing convergence stability. While variants like DAPO attempt to rectify gradient vanishing, they do not alleviate the substantial computational overhead incurred by exhaustive rollouts on low-utility samples. In this paper, we propose Difficulty-Estimated Policy Optimization (DEPO), a novel framework designed to optimize the efficiency and robustness of reasoning alignment. DEPO integrates an online Difficulty Estimator that dynamically assesses and filters training data before the rollout phase. This mechanism ensures that computational resources are prioritized for samples with high learning potential. Empirical results demonstrate that DEPO achieves up to a 2x reduction in rollout costs without compromising model performance. Our approach significantly lowers the computational barrier for training high-performance reasoning models, offering a more sustainable path for reasoning scaling. Code and data will be released upon acceptance.
• Abstract（参考訳）: DeepSeek-R1によって実証されたLarge Reasoning Models (LRMs) の最近の進歩は, Group Relative Policy Optimization (GRPO) を通じて推論時間計算のスケーリングの可能性を強調している。 しかし、GRPOはしばしば、単純すぎるか過剰に複雑である問題に遭遇する際に、勾配信号の減衰に悩まされる。 これらのシナリオでは、群間アドバンテージの消失により、勾配信号はノイズの影響を受けにくくなり、収束安定性が損なわれる。 DAPOのような変種は勾配の消滅を是正しようとするが、低ユーティリティサンプルの徹底的なロールアウトによって生じる計算オーバーヘッドを軽減しない。 本稿では,推論アライメントの効率性と堅牢性を最適化する新しいフレームワークであるDifficulty-Estimated Policy Optimization (DEPO)を提案する。 DEPOはオンラインのDifficulty Estimatorを統合し、ロールアウトフェーズ前にトレーニングデータを動的に評価しフィルタリングする。 このメカニズムにより、高い学習可能性を持つサンプルに対して計算資源が優先順位付けされることが保証される。 実験により, DEPOはモデル性能を損なうことなく, ロールアウトコストを最大2倍に削減できることを示した。 提案手法は,高性能推論モデルの学習における計算障壁を大幅に減らし,推論スケーリングのためのより持続可能な経路を提供する。 コードとデータは受理時にリリースされる。

関連論文リスト

• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• DaGRPO: Rectifying Gradient Conflict in Reasoning via Distinctiveness-Aware Group Relative Policy Optimization [20.66452395111739]
  識別性を考慮したグループ相対ポリシー最適化(DaGRPO)を提案する。 DaGRPOは,(1)微粒なスコアリングを利用して,低差別性でサンプルペアを動的にマスキングするシーケンスレベルのグラディエント・リクティフィケーション,(2)高品質なアンカーを導入し,課題に対処するためのトレーニング信号の復元を行うオフ・ポリシー・データ・アジュメンテーションという2つのコアメカニズムを取り入れている。 詳細な分析により、DaGRPOは勾配の爆発を効果的に軽減し、長鎖推論能力の出現を加速することを確認した。
  論文  参考訳（メタデータ） (2025-12-06T07:51:36Z)
• Empirical Comparison of Forgetting Mechanisms for UCB-based Algorithms on a Data-Driven Simulation Platform [0.16921396880325776]
  本稿では、ディスカウントに基づく長期視点とスライディングウインドウに基づく短期視点を統合した新しいデュアルビューアルゴリズムであるFDSW-UCBを紹介し、評価する。 ダイナミックな設定で優れたパフォーマンスを実現し、アンサンブル戦略自体が成功の決定的な要因であることを強調します。
  論文  参考訳（メタデータ） (2025-11-24T15:52:02Z)
• Beyond Reward Margin: Rethinking and Resolving Likelihood Displacement in Diffusion Models via Video Generation [6.597818816347323]
  直接選好最適化は、選択されたサンプルと拒否されたサンプルを区別することにより、生成出力を人間の選好に合わせることを目的としている。 DPOの限界は、トレーニング中に選択されたサンプルの確率がパラドックス的に減少する確率変位である。 本稿では,Adaptive Rejection Scaling (ARS) と Implicit Preference Regularization (IPR) を組み合わせた新しいソリューションである Policy-Guided DPO を紹介する。 実験の結果,PG-DPOは測定値と定性評価の両方において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-11-24T12:37:49Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• CART-based Synthetic Tabular Data Generation for Imbalanced Regression [1.342834401139078]
  我々は、既存のCARTベースの合成データ生成手法を適応させ、不均衡回帰に適合させることを提案する。 本手法は, 対象空間のスパース領域におけるサンプリングを誘導するための関連性および密度に基づくメカニズムを統合する。 本実験は,ベンチマークデータセット間での極端目標値の予測に焦点をあてる。
  論文  参考訳（メタデータ） (2025-06-03T12:42:20Z)
• On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization [52.76330545825083]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に人気がある。 従来認識されていなかった Lazy Likelihood Displacement (LLD) 現象を同定し, トレーニング中に正答率がわずかに増加するか, あるいは低下する可能性が示唆された。 従来のDPOベースのアプローチとは異なり、NTHRはGRPOのグループベースの構造を利用して、適切な応答をアンカーとして利用し、重要なトークンを識別する。
  論文  参考訳（メタデータ） (2025-05-24T18:58:51Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。