論文の概要: Objective-Behavior Alignment: Diagnostics for MORL Policy Selection

• arxiv url: http://arxiv.org/abs/2606.21321v1
• Date: Fri, 19 Jun 2026 11:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 14:23:28.41392
• Title: Objective-Behavior Alignment: Diagnostics for MORL Policy Selection
• Title（参考訳）: 目的行動アライメント:MORL政策選択のための診断
• Authors: Antonio Mone, Zuzanna Osika, Florian Felten, Pradeep K. Murukannaiah, Mark Fuge, Frans A. Oliehoek, Luciano Cavalcante Siebert,
• Abstract要約: 多目的強化学習は、目的間のトレードオフを明確に表す一連のポリシーを生成する。 本稿では,パレートフロントに沿った行動変化を自動的に強調する探索的診断ワークフローを提案する。 単純なグリッドの例にアプローチを検証し、それを継続的制御ベンチマークに拡張し、問題の複雑性が増大するにつれて効果が持続することを示した。
• 参考スコア（独自算出の注目度）: 9.112571355018035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world decision-making often requires optimizing multiple competing objectives simultaneously. In reinforcement learning (RL), this is typically addressed by combining reward signals into a single scalar objective via a scalarization function, which can be fragile: small changes in the weights can induce drastically different policies. Multi-objective reinforcement learning (MORL) instead produces sets of policies that explicitly represent trade-offs between objectives. However, these policies are typically presented to the decision maker only through their value vectors, which can obscure substantial behavioral variation: policies that induce distinct trajectories may appear indistinguishable when evaluated solely by expected returns. We propose an exploratory diagnostic workflow that automatically highlights behavioral variation along the Pareto front that objective values alone do not reveal, providing both quantitative and visual tools to support policy inspection. We validate our approach on simple grid examples and scale it to continuous control benchmarks, demonstrating that it remains effective as problem complexity increases.
• Abstract（参考訳）: 現実の意思決定は、しばしば複数の競合する目標を同時に最適化する必要がある。 強化学習(RL)では、これは一般的に、報酬信号をスカラー化関数を介して単一のスカラー目標に結合することで対処される。 マルチオブジェクト強化学習(MORL)は、目的間のトレードオフを明確に表す政策の集合を生成する。 しかし、これらのポリシーは一般に、決定者に対して、その値ベクトルを通してのみ提示されるが、これは大きな振る舞いのばらつきを曖昧にしうる: 期待されたリターンによってのみ評価されると、異なる軌道を誘導するポリシーは区別できないように見える。 本研究では,Pareto前線における行動変化を自動的に強調する探索的診断ワークフローを提案する。 単純なグリッドの例にアプローチを検証し、それを継続的制御ベンチマークに拡張し、問題の複雑性が増大するにつれて効果が持続することを示した。

関連論文リスト

• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning [1.2922946578413577]
  多目的強化学習ポリシーを説明するための軌道ベース説明可能性フレームワーク 多目的強化学習ポリシーを説明するための軌道ベース説明可能性フレームワーク
  論文  参考訳（メタデータ） (2026-03-23T13:55:14Z)
• Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
  本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。 提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。 我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
  論文  参考訳（メタデータ） (2025-09-27T19:43:04Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Navigating Trade-offs: Policy Summarization for Multi-Objective Reinforcement Learning [10.848218400641466]
  多目的強化学習(MORL)は、複数の目的を含む問題を解決するために用いられる。 本稿では,MORL が生成する解集合をクラスタリングする手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T15:26:38Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Value function interference and greedy action selection in value-based multi-objective reinforcement learning [1.4206639868377509]
  多目的強化学習(MORL)アルゴリズムは従来の強化学習(RL)を拡張する ユーザのユーティリティ関数が、ベクター値と類似のユーティリティレベルを幅広くマップしている場合、これは干渉を引き起こす可能性があることを示す。 我々は、欲求行動を特定する際にランダムなタイブレークを避けることは、値関数の干渉によって生じる問題を改善できるが、完全には克服できないことを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-09T09:28:01Z)
• Learning Control Policies for Variable Objectives from Offline Data [2.7174376960271154]
  可変客観ポリシー(VOP)と呼ばれるモデルに基づくポリシー探索手法の概念拡張を導入する。 ポリシーの入力として渡された目的を変更することで、ユーザはその動作を調整する自由を得たり、実行時に最適化目標を再バランスさせたりすることができる。
  論文  参考訳（メタデータ） (2023-08-11T13:33:59Z)
• gTLO: A Generalized and Non-linear Multi-Objective Deep Reinforcement Learning Approach [2.0305676256390934]
  Generalized Thresholded Lexicographic Ordering (gTLO)は、非線形MORLと一般化MORLの利点を組み合わせた新しい手法である。 我々は、非線形MORLの標準ベンチマークと製造プロセス制御の領域からの実世界の応用について有望な結果を示す。
  論文  参考訳（メタデータ） (2022-04-11T10:06:49Z)
• Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning [131.1852444489217]
  本稿では,オブジェクト認識方式で模倣ポリシーを標準化する手法として,オブジェクト認識型RegularizatiOn(OREO)を提案する。 我々の主な考えは、政策が専門家の行動と強く相関するニュアンス変数を悪用することを防ぐために、政策が全ての意味オブジェクトに均一に出席することを奨励することである。
  論文  参考訳（メタデータ） (2021-10-27T01:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。