論文の概要: GPDPO: Learning from Reward Conflicts via Group Pareto-Dominance Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.35480v1
• Date: Mon, 26 Oct 2026 14:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.022797
• Title: GPDPO: Learning from Reward Conflicts via Group Pareto-Dominance Policy Optimization
• Title（参考訳）: GPDPO:グループ・パレート・ドミナンス・ポリシーの最適化を通じてリワード・コンフリクトから学ぶ
• Abstract要約: 競合フィルタによるロールアウトから相互監視を復元するマルチリワードポリシー最適化手法を提案する。 API-Bankの実験は、GPDPOが競争力のあるマルチリワード最適化ベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 18.442402629923226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-reward reinforcement learning offers a promising framework for aligning large language models (LLMs) with diverse objectives, but conflicting reward signals can induce ambiguous update directions and hinder stable optimization. Existing approaches address such conflicts through reward reweighting, gradient coordination, or rollout filtering, yet they primarily operate on per-response or group-level optimization signals and underexploit relational information among sampled responses. As a result, conflict-filtered rollouts may still contain useful supervision that is discarded during training. We propose Group Pareto-Dominance Policy Optimization (GPDPO), a multi-reward policy optimization method that recovers pairwise supervision from conflict-filtered rollouts. GPDPO identifies Pareto-dominance relations among sampled responses and converts them into auxiliary preference signals, which are jointly optimized with the original policy objective. This enables more effective reuse of existing rollouts without additional sampling or reward evaluation. Experiments on API-Bank across multiple model scales and reward configurations show that GPDPO consistently outperforms competitive multi-reward optimization baselines. Further analysis demonstrates that GPDPO reduces both group-relative and pairwise reward conflicts, supporting the effectiveness of exploiting relational supervision for multi-reward alignment. Code will be released.
• Abstract（参考訳）: マルチリワード強化学習は,大規模言語モデル(LLM)をさまざまな目的に整合させる,有望なフレームワークを提供する。 既存のアプローチは、報酬の重み付け、勾配調整、ロールアウトフィルタリングを通じてこのような対立に対処するが、主に応答ごとの信号やグループレベルの最適化信号、サンプリングされた応答間の関係情報を過小評価する。 その結果、競合フィルタリングされたロールアウトには、トレーニング中に破棄される有用な監視が含まれている可能性がある。 競合フィルタリングロールアウトから相互監視を回復するマルチリワードポリシ最適化手法として,GPDPO(Group Pareto-Dominance Policy Optimization)を提案する。 GPDPOはサンプル応答間のパレート・マディナンス関係を識別し、元の方針目標と共同最適化された補助的嗜好信号に変換する。 これにより、追加のサンプリングや報酬評価なしで、既存のロールアウトをより効果的に再利用できる。 複数のモデルスケールと報奨構成にわたるAPI-Bankの実験は、GPDPOが競争力のあるマルチリワード最適化ベースラインを一貫して上回っていることを示している。 さらに分析したところ、GPDPOはグループ相対性とペアの報酬競合を減らし、マルチリワードアライメントのための関係監督を活用できることが示されている。 コードはリリースされる。

関連論文リスト

• GD$^2$PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization [54.596224644751565]
  訓練後強化学習(RL)は多次元報酬に頼り、包括的能力を育成する。 これを解決するために、グループ報酬分離政策最適化(GDPO)のような既存の手法は、総合的なスコアを独立した報酬グループに分解し、各グループ内でRL損失を個別に計算する。 本稿では,GD$2$PO(Group-Dynamic reward-Decoupled Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T14:19:28Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。