論文の概要: Learning from Hard Prompts: Difficulty-aware Advantage Amplification in Dynamic Sampling

• arxiv url: http://arxiv.org/abs/2608.27982v1
• Date: Fri, 28 Aug 2026 06:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.229807
• Title: Learning from Hard Prompts: Difficulty-aware Advantage Amplification in Dynamic Sampling
• Title（参考訳）: ハードプロンプトから学ぶ:動的サンプリングにおける難易度を考慮したアドバンテージ増幅
• Abstract要約: 動的サンプリングは、GRPOと比較してDAPOの精度向上に最も貢献する。 動的サンプリングは、ハードプロンプトに対するハード・トゥ・サンプルの正しい応答を効果的に利用できないため、トレーニング効率を低下させる。 本稿では、ハードプロンプトに対するハード・トゥ・サンプラーの正応答の利点を増幅するダイレクト・アドバンテージ・アンプリフィケーション(DAA)を提案する。
• 参考スコア（独自算出の注目度）: 29.644794161942283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) is a prominent variant of Group Relative Policy Optimization (GRPO). DAPO introduces several improvements over GRPO. Among these, Dynamic Sampling contributes the most to DAPO's accuracy gains relative to GRPO. To improve accuracy, Dynamic Sampling enhances training stability by eliminating zero policy gradients from zero advantages. Specifically, it avoids such zero gradients by filtering out prompts where sampled responses are either entirely correct or incorrect. However, our theoretical analysis shows that Dynamic Sampling decrease training efficiency as it cannot effectively utilize hard-to-sample correct responses on hard prompts. Formally, it asymmetrically amplifies the advantages of distinct responses to the same prompts. On hard prompts, incorrect responses undergo greater amplification than correct ones. This leads the model to avoid generating the observed incorrect responses rather than capitalizing on the hard-to-sample correct ones on hard prompts, resulting in low training efficiency. To improve training efficiency, we propose Direct Advantage Amplification (DAA), which amplifies the advantages of hard-to-sample correct responses on hard prompts, as obtained by Dynamic Sampling. This ensures that, when Dynamic Sampling is used, these hard-to-sample responses can be effectively capitalized on, implying higher training efficiency. By integrating DAA into DAPO, we obtain Difficulty-aware Advantage Amplification Policy Optimization (DA3PO), which is implemented with fewer than 30 lines of code from DAPO. Experiments show that DA3PO significantly outperforms GRPO and other classical GRPO variants.
• Abstract（参考訳）: Decoupled Clip and Dynamic Smpling Policy Optimization (DAPO)は、グループ相対政策最適化(GRPO)の顕著な変種である。 DAPOはGRPOにいくつかの改善を加えている。 このうち、Dynamic Smpling は GRPO と比較して DAPO の精度向上に最も貢献する。 精度を向上させるために、Dynamic Smplingは、ゼロ・ポリシー・グラデーションをゼロ・アドバンテージから排除することで、トレーニングの安定性を向上させる。 具体的には、サンプリングされた応答が完全に正しいか間違っているかのプロンプトをフィルタリングすることで、そのようなゼロ勾配を避ける。 しかし, 動的サンプリングは, ハードプロンプトの高精度応答を効果的に利用できないため, トレーニング効率を低下させることが示された。 形式的には、同じプロンプトに対する異なる応答の利点を非対称に増幅する。 ハードプロンプトでは、誤った応答は正しい応答よりも増幅が大きい。 このモデルでは、ハードプロンプトの正確さを活かすのではなく、観測された誤った応答を生成することを回避し、結果としてトレーニング効率が低下する。 トレーニング効率を向上させるために,動的サンプリングにより得られたハードプロンプトに対するハード・トゥー・サンプの正応答の利点を増幅するダイレクト・アドバンテージ・アンプリフィケーション(DAA)を提案する。 これにより、ダイナミックサンプリングを使用する場合、これらの難しい応答を効果的に活用することが可能になり、より高いトレーニング効率が期待できる。 DAAをDAPOに統合することにより,DAPOから30行未満のコードで実装された,難易度の高いアドバンテージ増幅政策最適化(DA3PO)が得られる。 実験により、DA3POはGRPOと他の古典的なGRPOの変種を著しく上回っていることが示された。

関連論文リスト

• ERPO: Token-Level Entropy-Regulated Policy Optimization for Large Reasoning Models [3.463914032107119]
  グループ相対政策最適化(GRPO)は一般にすべてのトークンに対して一様でシーケンスレベルの利点を割り当てる。 本稿では,最適化の焦点を粗いシーケンスからきめ細かいトークンダイナミクスに移行するエントロピー制御ポリシ最適化(ERPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-30T09:20:25Z)
• P^2O: Joint Policy and Prompt Optimization [74.45293488495592]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 プロンプト最適化とポリシー最適化を相乗化する新しいフレームワークであるP2Oを提案する。
  論文  参考訳（メタデータ） (2026-03-23T12:08:47Z)
• wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment [48.487557157323664]
  実際には、好みのデータはしばしばうるさい。 既存のDPOの頑健な派生型は、主に一様の客観的な修正や大域的な再重み付けに依存している。 目的の介入によって異なるノイズタイプに対処することで、ロバストな選好アライメントの利点が示される。
  論文  参考訳（メタデータ） (2026-03-07T13:30:53Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• DIVA-GRPO: Enhancing Multimodal Reasoning through Difficulty-Adaptive Variant Advantage [83.64031699341862]
  グループ相対的政策最適化(GRPO)による強化学習は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための広く採用されているアプローチとなっている。 GRPOは、批判なしに長鎖推論を可能にするが、難しい問題に対する微妙な報酬と、グループレベルの報酬が過度に簡単あるいは難しい問題に対して一貫性が過ぎる場合の利点に悩まされることが多い。 グローバルな視点から可変困難分布を調整する難易度適応型変分法であるDIVA-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-03-01T13:47:35Z)
• A Simple and Effective Reinforcement Learning Method for Text-to-Image Diffusion Fine-tuning [61.403275660120606]
  強化学習(Reinforcement Learning, RL)に基づく微調整は, 拡散モデルとブラックボックスの目的を整合させる強力なアプローチとして登場した。 拡散微調整のための新しいRLであるLOOP(Left-one-out PPO)を提案する。 以上の結果から, LOOPは様々なブラックボックス対象の拡散モデルを効果的に改善し, 計算効率と性能のバランスを良くすることを示す。
  論文  参考訳（メタデータ） (2025-03-02T13:43:53Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。