論文の概要: AGPO: Asymmetric Group Policy Optimization for Verifiable Reasoning and Search Ads Relevance at JD

• arxiv url: http://arxiv.org/abs/2605.05826v1
• Date: Thu, 07 May 2026 08:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.613008
• Title: AGPO: Asymmetric Group Policy Optimization for Verifiable Reasoning and Search Ads Relevance at JD
• Title（参考訳）: AGPO:JDにおける検証推論と検索広告関連のための非対称グループポリシー最適化
• Authors: Yang Xu, Kun Yao, Yiming Deng, Zheng Fang, Kai Ming Ting, Ming Pang,
• Abstract要約: この境界縮小に対応するために,非対称グループ政策最適化(AGPO)を提案する。 AGPOは、誤った推論経路を抑え、ベースモデルの探索能力を維持するために、負の優位な強化戦略を採用している。 5つの数学的ベンチマーク実験により,AGPOは最先端の精度を達成しつつ,スケールにおけるパス@$k$の性能を一貫して向上することを示した。
• 参考スコア（独自算出の注目度）: 12.270495684580546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has demonstrated notable success in enhancing the reasoning performance of large language models (LLMs). However, recent studies reveal that while current RLVR methods improve sampling efficiency towards correct paths, they do not elicit fundamentally new reasoning patterns. Instead, the reasoning capability boundary of trained models often narrows compared to their base models, with base models achieving higher coverage at large sample sizes. In this work, we propose Asymmetric Group Policy Optimization (AGPO) to counteract this boundary shrinkage. AGPO adopts a negative-dominant reinforcement strategy to suppress incorrect reasoning paths, maintaining the base model's exploration capacity. For positive reinforcement, AGPO adopts a group advantage mechanism, which scales positive updates based on intra-group variance, allowing the model to focus on rare correct paths while suppressing updates from trivial paths. Our experiments on five mathematical benchmarks demonstrate that AGPO achieves state-of-the-art accuracy while consistently improving pass@$k$ performance at scale. In a large-scale industrial application for search ads relevance optimization, AGPO effectively enhances the quality of the data annotation, leading to substantial performance gains in downstream student models.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論性能の向上に成功している。 しかし、最近の研究では、現在のRLVR法は正しい経路へのサンプリング効率を向上させるが、基本的に新しい推論パターンを導き出すものではないことが示されている。 代わりに、訓練されたモデルの推論能力境界は、ベースモデルと比較して狭くなり、ベースモデルは大きなサンプルサイズでより高いカバレッジを達成する。 本研究では,この境界縮小に対応するために,非対称グループ政策最適化(AGPO)を提案する。 AGPOは、誤った推論経路を抑え、ベースモデルの探索能力を維持するために、負の優位な強化戦略を採用している。 正の強化のために、AGPOはグループアドバンテージ機構を採用し、グループ内の分散に基づいて正の更新をスケールし、モデルは自明な経路からの更新を抑えながら稀な正しい経路に集中することができる。 5つの数学的ベンチマーク実験により,AGPOは最先端の精度を達成しつつ,スケールにおけるパス@$k$の性能を一貫して向上することを示した。 検索広告関連性最適化のための大規模産業アプリケーションにおいて、AGPOはデータアノテーションの品質を効果的に向上させ、下流の学生モデルでかなりの性能向上をもたらす。

関連論文リスト

• GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning [48.32628338889922]
  グループ相対政策最適化は中間段階の無差別な信用割当に苦しむ。 モデルフリーで検証可能なプロセス監視を,モデルが正しい回答を信じているかどうかを判断することによって導入する。 このアプローチにより、よりターゲット的でサンプル効率の良いポリシー更新が可能になる。
  論文  参考訳（メタデータ） (2026-04-22T15:08:58Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Evaluating GRPO and DPO for Faithful Chain-of-Thought Reasoning in LLMs [0.7045900712659982]
  大型言語モデル(LLM)の問題解決能力向上のための強力な手法として、チェーン・オブ・シント推論(CoT)が登場している。
  論文  参考訳（メタデータ） (2025-12-27T16:07:00Z)
• DaGRPO: Rectifying Gradient Conflict in Reasoning via Distinctiveness-Aware Group Relative Policy Optimization [20.66452395111739]
  識別性を考慮したグループ相対ポリシー最適化(DaGRPO)を提案する。 DaGRPOは,(1)微粒なスコアリングを利用して,低差別性でサンプルペアを動的にマスキングするシーケンスレベルのグラディエント・リクティフィケーション,(2)高品質なアンカーを導入し,課題に対処するためのトレーニング信号の復元を行うオフ・ポリシー・データ・アジュメンテーションという2つのコアメカニズムを取り入れている。 詳細な分析により、DaGRPOは勾配の爆発を効果的に軽減し、長鎖推論能力の出現を加速することを確認した。
  論文  参考訳（メタデータ） (2025-12-06T07:51:36Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。