論文の概要: ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients

• arxiv url: http://arxiv.org/abs/2609.34985v1
• Date: Mon, 28 Sep 2026 11:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 18:06:53.205732
• Title: ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients
• Title（参考訳）: ORPG: 客観的なポリシーグラディエントによる複数のリワードオブジェクトのリコンシデント
• Abstract要約: マルチリワードポリシー最適化には、学習信号と目的間の意図した関係の両方を反映した共同アップデートが必要である。 我々は、報酬ごとに個別にクリッピングされたポリシー目標を構築し、その結果の勾配を1つのポリシー更新に調整するORPG(Objective-wise Reconciled Policy Gradient)を導入する。
• 参考スコア（独自算出の注目度）: 52.516765672263574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-reward policy optimization requires a joint update that reflects both the learning signals and the intended relationships among objectives. We introduce Objective-wise Reconciled Policy Gradient (ORPG), which constructs a separate clipped policy objective for each reward and reconciles the resulting gradients into one policy update. For compatible gradients, a cosine-dependent interpolation coordinates their contributions through a partially normalized reference while preserving the norm of their sum. We characterize this update as the unique solution of a spherical directional compromise. For conflicting gradients, projection follows the task's priorities. We evaluate the same compatible rule in helpfulness--safety alignment and correctness--cost optimization for mathematical reasoning. ORPG substantially improves average Useful and Harmless scores over the strongest external baseline on each axis. In mathematics, it achieves the highest average full-budget accuracy and three-budget hypervolume among the compared methods, with more accurate and shorter responses than the initial policy. Component comparisons and training dynamics show the larger contribution of compatible coordination and a complementary benefit from conflict handling. These results support gradient reconciliation for objectives with equal standing and for objectives with an explicit priority.
• Abstract（参考訳）: マルチリワードポリシー最適化には、学習信号と目的間の意図した関係の両方を反映した共同アップデートが必要である。 我々は、報酬ごとに個別にクリッピングされたポリシー目標を構築し、その結果の勾配を1つのポリシー更新に調整するORPG(Objective-wise Reconciled Policy Gradient)を導入する。 互換勾配に対して、コサイン依存補間は和のノルムを保ちながら部分的に正規化された参照を通してそれらの寄与を調整する。 我々は、このアップデートを球方向妥協のユニークな解決策として特徴付けている。 矛盾する勾配に対して、プロジェクションはタスクの優先順位に従う。 数学的推論における安全性の確保と正当性-コストの最適化-において、同じ相反するルールが有用であることを示す。 ORPGは各軸における最強の外部ベースラインよりも平均的なUsefulとHarmlessのスコアを大幅に改善する。 数学では、比較した手法の中で、平均的な全予算の精度と3予算のハイパーボリュームを達成し、初期ポリシーよりも正確で短い応答を達成している。 コンポーネントの比較とトレーニングのダイナミクスは、互換性のあるコーディネーションの大きな貢献と、コンフリクトハンドリングによる補完的なメリットを示しています。 これらの結果は, 立位が等しい目標と, 明確な優先順位を持つ目標に対する勾配調整を支援する。

関連論文リスト

• Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization [54.855135506924775]
  ツールを用いた大規模言語モデル(LLM)を競合する目的の下で整列するための2段階多目的最適化フレームワークを提案する。 この設計は、複数の矛盾する目的に対してきめ細かいアクションレベルの最適化を可能にする。
  論文  参考訳（メタデータ） (2026-06-15T01:58:07Z)
• Reward-free Alignment for Conflicting Objectives [12.275610380458119]
  我々は、競合対象(RACO)に対するリワードフリーアライメントフレームワークを提案する。 RACOはペアワイズ選好データを直接利用し、競合-逆勾配勾配の新たなクリッピング変種を通じて勾配衝突を解消する。 ユーザが指定した目標重みを尊重するパレート臨界点に対する収束保証を行い、クリッピングが2目的設定における収束率を厳密に改善できることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:59:52Z)
• Towards Fast Rates for Federated and Multi-Task Reinforcement Learning [34.34798425737858]
  我々は、慎重に設計されたバイアス補正機構を備えた新しいフェデレーションポリシーアルゴリズムであるFast-FedPGを提案する。 勾配支配条件下では,本アルゴリズムは (i) 厳密な勾配で高速な線形収束を保証し, (ii) 雑音に富んだ政策勾配を持つエージェントの数に比例して線形スピードアップを楽しむサブ線形速度を保証している。
  論文  参考訳（メタデータ） (2024-09-09T02:59:17Z)
• Clipped-Objective Policy Gradients for Pessimistic Policy Optimization [3.2996723916635275]
  政策勾配法は、政策出力の有界変化を通じて単調な改善を図っている。 本研究では,PPOの性能を連続的な作用空間に適用した場合,目的の単純変化によって一貫した改善が期待できることを示す。 PPO と PPO の両目標に比較して, COPG の目標が平均的な「悲観的」であること, 2) この悲観主義は探索を促進させることを示した。
  論文  参考訳（メタデータ） (2023-11-10T03:02:49Z)
• Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning [46.28771270378047]
  フェデレート強化学習(RL)は、ローカルデータトラジェクトリを共有することなく、複数の分散エージェントの協調的な意思決定を可能にする。 本研究では,環境の同じ遷移カーネルを共有しながら,各エージェントが異なるタスクに対応する個別の報酬関数を持つマルチタスク設定について考察する。 我々は、分散された方法で全てのエージェントの割引された全報酬の総和を最大化する、世界的な最適政策を学習する。
  論文  参考訳（メタデータ） (2023-11-01T00:15:18Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
  複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。 本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-10T21:09:44Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。