論文の概要: Priority-Preserving Advantage Aggregation for Multi-Reward Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.34862v1
• Date: Mon, 26 Oct 2026 05:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.763247
• Title: Priority-Preserving Advantage Aggregation for Multi-Reward Policy Optimization
• Title（参考訳）: マルチリワードポリシ最適化のための優先度保存アドバンテージアグリゲーション
• Abstract要約: そこで本稿では,プライマリと補助的なアドバンテージを非対称に組み合わせた優先認識のアドバンテージアグリゲーション手法を提案する。 実験の結果,PAPOは最高の目標を達成すると同時に,最高の,競争力のある補助目標性能を維持することが確認された。
• 参考スコア（独自算出の注目度）: 46.02503221052016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM post-training often optimizes multiple objectives with unequal priorities, such as correctness and reasoning efficiency. However, the widely used additive reward aggregation in RL can violate these priorities: when primary and auxiliary advantages conflict, a sufficiently large auxiliary signal can overturn the preference induced by the primary objective. We term this problem \emph{advantage priority inversion}. Although reward-level gating can protect priority more directly, it still removes potentially useful auxiliary distinctions among rollout samples that fail the primary condition. To address this trade-off, we propose Primary Advantage Policy Optimization (\textbf{PAPO}), a priority-aware advantage aggregation method that asymmetrically combines a primary and an auxiliary advantage. PAPO retains auxiliary supervision when the objectives agree and smoothly attenuates conflicting auxiliary signals, preserving the primary sign during fusion for \emph{primary-consistent ordering}. This rule applies to sequence-level advantages in GRPO and token-level advantages in actor--critic PPO. Experiments on multiple domains and models show that PAPO consistently achieves the best primary objective while maintaining best or competitive auxiliary-objective performance across both GRPO- and PPO-based optimization. \href{https://xiangchi-yuan.github.io/papo-project/}{Code is available}.
• Abstract（参考訳）: LLMポストトレーニングはしばしば、正確性や推論効率などの不平等な優先順位で複数の目標を最適化する。 しかし、RLにおいて広く用いられる付加的な報酬アグリゲーションは、プライマリと補助的なアドバンテージが衝突した場合、十分に大きな補助信号が主目的によって引き起こされる優先順位を覆すことができるという、これらの優先順位に反する可能性がある。 この問題を \emph{advantage priority inversion} と呼ぶ。 報酬レベルのゲーティングは、より直接的に優先権を保護することができるが、プライマリ条件を満たさないロールアウトサンプルのうち、潜在的に有用な補助的な区別を取り除くことができる。 このトレードオフに対処するために,プライマリアドバンテージポリシー最適化 (\textbf{PAPO}) を提案する。 PAPOは、目的が相反する補助信号に同意し、円滑に減衰すると補助的な監督を保持し、emph{primary-consistent ordering} の融合中に一次信号を保存する。 この規則は、GRPOにおけるシーケンスレベルのアドバンテージとアクターレベルのPPOにおけるトークンレベルのアドバンテージに適用される。 複数のドメインやモデルに対する実験により、PAPOはGRPOとPPOベースの最適化の両方で最高の、または競争的な補助目的性能を維持しながら、常に最高の主目的を達成することが示された。 https://xiangchi-yuan.github.io/papo-project/}{Code is available}

関連論文リスト

• STAR-GRPO: Canonical Anchoring and Reliability-First Advantages against Representation-Dependent Reward Hacking [20.946544145003525]
  リワードハックは、ポリシー最適化が脆弱な報酬インターフェースまたは過度に寛容なプロキシターゲットを利用する場合に発生する。 同一ロールアウトのペア評価に基づく信頼性優先の利点推定器を提案する。 我々はSTARが、グループベースラインとポリシー更新の両方に、支持できない報酬の影響を限定する方法を提供していることを示す。
  論文  参考訳（メタデータ） (2026-09-29T07:25:06Z)
• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• On Advantage Estimates for Max@K Policy Gradients [38.07689739365912]
  バッチのメリットを正確に重視しながら、ポリシーの緩やかな偏りを保ちながら、リーフツーアウトのベースラインを導入します。 結果、MaxPOは効率的な二次時間実装を持ち、LLM後学習のためのグループベースRLに自然に統合される。 実験により,L2Oベースラインは勾配のばらつきを低減し,非中心の代替よりも優れることを確認した。
  論文  参考訳（メタデータ） (2026-06-04T12:16:39Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• Preference as Reward, Maximum Preference Optimization with Importance Sampling [3.7040071165219595]
  我々は、重要サンプリングの観点から、単純で直感的な非政治的選好最適化アルゴリズムを提案し、これを最大選好最適化(MPO)と呼ぶ。 MPOは、RLHFとIPOの目的を、独占的アルゴリズムであると同時に組み合わせることで、両方の世界のベストを達成している。
  論文  参考訳（メタデータ） (2023-12-27T06:34:54Z)
• You May Not Need Ratio Clipping in PPO [117.03368180633463]
  Proximal Policy Optimization (PPO) 法は、複数のミニバッチ最適化エポックを1組のサンプルデータで反復的に実行することでポリシーを学習する。 比率クリッピングPPOは、ターゲットポリシーとサンプル収集に使用されるポリシーの確率比をクリップする一般的な変種である。 本論文では, この比クリッピングが有効に結合できないため, 良好な選択ではないことを示す。 ESPOは、多くのワーカーによる分散トレーニングに簡単にスケールアップでき、パフォーマンスも高いことを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。