論文の概要: An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2409.09958v1
• Date: Mon, 16 Sep 2024 03:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:40:52.891155
• Title: An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
• Title（参考訳）: 制約付き多目的強化学習のためのオフライン適応フレームワーク
• Authors: Qian Lin, Zongkai Liu, Danying Mo, Chao Yu,
• Abstract要約: 本稿では,多目的RL問題に対して,手作業による目標設定を仮定することなく,簡易かつ効果的なオフライン適応フレームワークを提案する。 本フレームワークは,安全実証を利用して,安全クリティカルな目標に対する制約を満たすために自然に拡張することができる。 オフライン多目的・安全なタスクにおける実証的な結果から、実際の嗜好に沿ったポリシーを推論するフレームワークの能力を示す。
• 参考スコア（独自算出の注目度）: 7.30549583326951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, significant progress has been made in multi-objective reinforcement learning (RL) research, which aims to balance multiple objectives by incorporating preferences for each objective. In most existing studies, specific preferences must be provided during deployment to indicate the desired policies explicitly. However, designing these preferences depends heavily on human prior knowledge, which is typically obtained through extensive observation of high-performing demonstrations with expected behaviors. In this work, we propose a simple yet effective offline adaptation framework for multi-objective RL problems without assuming handcrafted target preferences, but only given several demonstrations to implicitly indicate the preferences of expected policies. Additionally, we demonstrate that our framework can naturally be extended to meet constraints on safety-critical objectives by utilizing safe demonstrations, even when the safety thresholds are unknown. Empirical results on offline multi-objective and safe tasks demonstrate the capability of our framework to infer policies that align with real preferences while meeting the constraints implied by the provided demonstrations.
• Abstract（参考訳）: 近年,多目的強化学習(RL)研究において,各目的に対する嗜好を取り入れた多目的強化学習(RL)研究が著しい進歩を遂げている。 既存のほとんどの研究では、望まれるポリシーを明確に示すために、デプロイメント中に特定の嗜好を提供する必要がある。 しかしながら、これらの嗜好を設計することは人間の事前知識に大きく依存する。 本研究では,多目的RL問題に対する簡易かつ効果的なオフライン適応フレームワークを提案する。 さらに,安全基準が不明な場合でも,安全実証を利用して,安全クリティカルな目標に対する制約を満たすために,我々のフレームワークを自然に拡張できることを実証した。 オフラインの多目的・安全タスクにおける実証的な結果から、提案したデモによって示唆される制約を満たしながら、実際の嗜好と整合するポリシーを推論するフレームワークの能力を実証する。

関連論文リスト

• C-MORL: Multi-Objective Reinforcement Learning through Efficient Discovery of Pareto Front [9.04360155372014]
  制約付きMORLは制約付きポリシー最適化とMORLのシームレスなブリッジである。 我々のアルゴリズムは、離散的かつ連続的な制御タスクにおいて、ハイパーボリューム、期待されるユーティリティ、およびスパーシリティという観点でより一貫性があり、優れた性能を達成する。
  論文  参考訳（メタデータ） (2024-10-03T06:13:56Z)
• Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning [26.244121960815907]
  本稿では,多目的学習と制約順守の政策最適化を協調するプライマリベースフレームワークを提案する。 提案手法は,複数のRL目標を最適化するために,新しい自然ポリシー勾配演算法を用いる。 また,提案手法は,安全性の高い多目的強化学習タスクにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:42:10Z)
• Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Multi-Target Multiplicity: Flexibility and Fairness in Target Specification under Resource Constraints [76.84999501420938]
  対象の選択が個人の結果にどのように影響するかを評価するための概念的および計算的枠組みを導入する。 目的変数選択から生じる多重度は, 1つのターゲットのほぼ最適モデルから生じるものよりも大きいことが示される。
  論文  参考訳（メタデータ） (2023-06-23T18:57:14Z)
• Goal-conditioned Offline Reinforcement Learning through State Space Partitioning [9.38848713730931]
  オフライン強化学習(RL)は、オフラインデータセットのみを使用してシーケンシャルな決定ポリシーを推論することを目的としている。 我々は,その利点にもかかわらず,分散シフトやマルチモダリティ問題を完全に解決するには,このアプローチは依然として不十分である,と論じる。 本稿では,帰納的バイアスの新たな源となる相補的優位性に基づく重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T14:52:53Z)
• Offline Reinforcement Learning with Instrumental Variables in Confounded Markov Decision Processes [93.61202366677526]
  未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。 そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T22:03:55Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。