論文の概要: DaGRPO: Rectifying Gradient Conflict in Reasoning via Distinctiveness-Aware Group Relative Policy Optimization

• arxiv url: http://arxiv.org/abs/2512.06337v1
• Date: Sat, 06 Dec 2025 07:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.30839
• Title: DaGRPO: Rectifying Gradient Conflict in Reasoning via Distinctiveness-Aware Group Relative Policy Optimization
• Title（参考訳）: DaGRPO: 識別性を考慮したグループ相対政策最適化による推論におけるグラディエント・コンフリクトの是正
• Authors: Xuan Xie, Xuan Wang, Wenjie Wang,
• Abstract要約: 識別性を考慮したグループ相対ポリシー最適化(DaGRPO)を提案する。 DaGRPOは,(1)微粒なスコアリングを利用して,低差別性でサンプルペアを動的にマスキングするシーケンスレベルのグラディエント・リクティフィケーション,(2)高品質なアンカーを導入し,課題に対処するためのトレーニング信号の復元を行うオフ・ポリシー・データ・アジュメンテーションという2つのコアメカニズムを取り入れている。 詳細な分析により、DaGRPOは勾配の爆発を効果的に軽減し、長鎖推論能力の出現を加速することを確認した。
• 参考スコア（独自算出の注目度）: 20.66452395111739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evolution of Large Language Models (LLMs) has catalyzed a paradigm shift from superficial instruction following to rigorous long-horizon reasoning. While Group Relative Policy Optimization (GRPO) has emerged as a pivotal mechanism for eliciting such post-training reasoning capabilities due to its exceptional performance, it remains plagued by significant training instability and poor sample efficiency. We theoretically identify the root cause of these issues as the lack of distinctiveness within on-policy rollouts: for routine queries, highly homogeneous samples induce destructive gradient conflicts; whereas for hard queries, the scarcity of valid positive samples results in ineffective optimization. To bridge this gap, we propose Distinctiveness-aware Group Relative Policy Optimization (DaGRPO). DaGRPO incorporates two core mechanisms: (1) Sequence-level Gradient Rectification, which utilizes fine-grained scoring to dynamically mask sample pairs with low distinctiveness, thereby eradicating gradient conflicts at the source; and (2) Off-policy Data Augmentation, which introduces high-quality anchors to recover training signals for challenging tasks. Extensive experiments across 9 mathematical reasoning and out-of-distribution (OOD) generalization benchmarks demonstrate that DaGRPO significantly surpasses existing SFT, GRPO, and hybrid baselines, achieving new state-of-the-art performance (e.g., a +4.7% average accuracy gain on math benchmarks). Furthermore, in-depth analysis confirms that DaGRPO effectively mitigates gradient explosion and accelerates the emergence of long-chain reasoning capabilities.
• Abstract（参考訳）: LLM(Large Language Models)の進化は、表面的な命令から厳密なロングホライゾン推論へのパラダイムシフトを引き起こした。 グループ相対政策最適化(GRPO)は、そのような訓練後の推論能力を引き出すための重要なメカニズムとして、非常に優れた訓練不安定性とサンプル効率の低下に悩まされている。 これらの問題の根本原因は、日常的なクエリでは、高度に均一なサンプルは破壊的な勾配の衝突を引き起こすが、ハードクエリでは、有効な正のサンプルの不足は、効率の悪い最適化をもたらす。 このギャップを埋めるため,本研究では,DAGRPO(Distinctiveness-aware Group Relative Policy Optimization)を提案する。 DaGRPO には,(1) 微粒なスコアリングを生かしたシーケンスレベルのグラディエント・リクティフィケーション (Sequence-level Gradient Rectification) の2つのメカニズムが組み込まれている。 9つの数学的推論とアウト・オブ・ディストリビューション(OOD)の一般化ベンチマークによる大規模な実験は、DaGRPOが既存のSFT、GRPO、ハイブリッドベースラインを大幅に上回り、新しい最先端性能(例えば、数学ベンチマークの平均精度が4.7%)を達成することを示した。 さらに,DAGRPOが勾配爆発を効果的に緩和し,長鎖推論能力の出現を加速することを確認した。

関連論文リスト

• Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
  LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。 一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。 E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-28T17:50:40Z)
• Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
  マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。 CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
  論文  参考訳（メタデータ） (2025-09-26T04:32:26Z)
• Multi-Layer GRPO: Enhancing Reasoning and Self-Correction in Large Language Models [3.0763741715155666]
  我々は,MGRPO(Multi-layer GRPO)を提案する。 MGRPOは標準GRPOを著しく上回り、推論能力と自己補正能力の両方を育成することで優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-06-05T08:27:34Z)
• On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization [52.76330545825083]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に人気がある。 従来認識されていなかった Lazy Likelihood Displacement (LLD) 現象を同定し, トレーニング中に正答率がわずかに増加するか, あるいは低下する可能性が示唆された。 従来のDPOベースのアプローチとは異なり、NTHRはGRPOのグループベースの構造を利用して、適切な応答をアンカーとして利用し、重要なトークンを識別する。
  論文  参考訳（メタデータ） (2025-05-24T18:58:51Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。