論文の概要: Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution

• arxiv url: http://arxiv.org/abs/2610.35733v1
• Date: Mon, 26 Oct 2026 16:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.119295
• Title: Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution
• Title（参考訳）: 経路アンサンブルと軌道属性を用いた多目的強化学習
• Abstract要約: 多目的強化学習は、現代AIの基本的な問題である。 本稿では,客観的衝突係数を導入し,オンライン設定に対してほぼ最適の後悔境界を導出する。 また,最小限の基本方針を維持するアルゴリズムであるルートアンサンブルポリシー学習を設計し,その軌道を最も高い確率でポリシーに動的にルートする。
• 参考スコア（独自算出の注目度）: 13.58187153324493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-objective reinforcement learning is a fundamental problem for modern AI, with applications spanning post-training, reasoning models, and robotic control. A central challenge is to learn policies that balance competing objectives, such as helpfulness versus honesty in safety and alignment, or speed versus energy in robotics. The optimal policy can vary sharply with objective-weighting combinations, and the extent of this variation depends crucially on the degree of conflict among objectives, making per-preference policy learning sample-inefficient. In this paper, we introduce objective-conflict coefficients and derive near-optimal regret bounds for online settings using this measure, thereby quantifying the impact of misalignment on learning efficiency. Then, we design routed ensemble policy learning, an algorithm that maintains a small set of basis policies and dynamically routes trajectories to the policy with the highest potential reward. Finally, we consider trajectory selection as another approach to mitigate objective conflict, and design a kernel surrogate trajectory attribution algorithm that estimates how feedback signals from a set of trajectories influence policy learning on other trajectories. The kernel can capture nonlinear interactions such as synergy and antagonism between trajectories. We evaluate our approach across diverse environments and benchmarks: routed ensembles improve average performance by 4.3% over baselines for online environments from Meta-World and MO-Gymnasium, and kernel surrogate attribution improves correlation with leave-one-out analysis over existing baselines by 50%. When applied to trajectory selection, kernel-based attribution yields a 27% improvement in reward over baseline attribution methods.
• Abstract（参考訳）: マルチオブジェクト強化学習は、ポストトレーニング、推論モデル、ロボット制御など、現代のAIの基本的な問題である。 中心的な課題は、安全性とアライメントにおける有用性と誠実性、ロボット工学におけるスピード対エネルギーといった、競合する目標のバランスをとる政策を学ぶことである。 最適政策は、客観的な重み付けの組み合わせによって著しく変化し、この変動の程度は、目的間の対立の度合いに大きく依存し、参照ポリシーごとの学習を非効率にする。 本稿では,この尺度を用いて客観的衝突係数を導入し,学習効率に対する誤認識の影響を定量化する。 そこで我々は,少数の基本方針を維持するアルゴリズムである経路付きアンサンブルポリシー学習を設計し,その軌道を最も高い確率でポリシーに動的にルーティングする。 最後に, トラジェクトリ選択を, 客観的対立を軽減する別のアプローチとして捉え, トラジェクトリの集合からのフィードバック信号が他のトラジェクトリに対するポリシー学習にどのように影響するかを推定するカーネルサロゲートトラジェクトリ属性アルゴリズムを設計する。 カーネルは、軌道間のシナジーやアンタゴニティのような非線形相互作用を捉えることができる。 ルーティングアンサンブルはMeta-WorldとMO-Gymnasiumのオンライン環境のベースラインよりも平均4.3%向上し、カーネルサロゲート属性は既存のベースラインよりも50%向上する。 軌道選択に適用すると、カーネルベースの帰属はベースライン帰属法よりも27%改善する。

関連論文リスト

• ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients [52.516765672263574]
  マルチリワードポリシー最適化には、学習信号と目的間の意図した関係の両方を反映した共同アップデートが必要である。 我々は、報酬ごとに個別にクリッピングされたポリシー目標を構築し、その結果の勾配を1つのポリシー更新に調整するORPG(Objective-wise Reconciled Policy Gradient)を導入する。
  論文  参考訳（メタデータ） (2026-09-28T11:58:21Z)
• Enhancing Robotic Navigation: An Evaluation of Single and Multi-Objective Reinforcement Learning Strategies [0.9208007322096532]
  本研究では,ロボットが目的達成に向けて効果的に移動できるよう訓練するための単目的と多目的の強化学習法の比較分析を行った。 報酬関数を変更して報酬のベクターを返却し、それぞれ異なる目的に関連付けることで、ロボットはそれぞれの目標を効果的にバランスさせるポリシーを学ぶ。
  論文  参考訳（メタデータ） (2023-12-13T08:00:26Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Cross-Domain Policy Adaptation via Value-Guided Data Filtering [57.62692881606099]
  動的ミスマッチで異なるドメインにまたがるポリシーを一般化することは、強化学習において重要な課題となる。 本稿では、ペア化された値ターゲットの近接に基づいて、ソースドメインからの遷移を選択的に共有するバリューガイドデータフィルタリング(VGDF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-28T04:08:40Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Latent-Conditioned Policy Gradient for Multi-Objective Deep Reinforcement Learning [2.1408617023874443]
  本稿では,政策勾配を用いて単一ニューラルネットワークを学習する多目的強化学習(MORL)アルゴリズムを提案する。 提案手法はポリシーネットワークの設計変更を伴わない連続的かつ離散的な行動空間で機能する。
  論文  参考訳（メタデータ） (2023-03-15T20:07:48Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。