論文の概要: Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL

• arxiv url: http://arxiv.org/abs/2305.00567v1
• Date: Sun, 30 Apr 2023 20:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 14:38:13.887443
• Title: Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL
• Title（参考訳）: オフラインマルチ目的rlによるパレート効率の高い意思決定のスケーリング
• Authors: Baiting Zhu, Meihua Dang, Aditya Grover
• Abstract要約: 多目的強化学習(MORL)の目的は、複数の競合対象を同時に最適化するポリシーを学ぶことである。 我々は、オフラインMORLのための新しいデータ駆動型セットアップを提案し、そこで、好みに依存しないポリシーエージェントを学習したい。 PEDAはオフラインのMORLアルゴリズムのファミリーであり、新しい優先順位と条件付きポリシーを通じて決定変換器を構築し拡張する。
• 参考スコア（独自算出の注目度）: 22.468486569700236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of multi-objective reinforcement learning (MORL) is to learn policies that simultaneously optimize multiple competing objectives. In practice, an agent's preferences over the objectives may not be known apriori, and hence, we require policies that can generalize to arbitrary preferences at test time. In this work, we propose a new data-driven setup for offline MORL, where we wish to learn a preference-agnostic policy agent using only a finite dataset of offline demonstrations of other agents and their preferences. The key contributions of this work are two-fold. First, we introduce D4MORL, (D)atasets for MORL that are specifically designed for offline settings. It contains 1.8 million annotated demonstrations obtained by rolling out reference policies that optimize for randomly sampled preferences on 6 MuJoCo environments with 2-3 objectives each. Second, we propose Pareto-Efficient Decision Agents (PEDA), a family of offline MORL algorithms that builds and extends Decision Transformers via a novel preference-and-return-conditioned policy. Empirically, we show that PEDA closely approximates the behavioral policy on the D4MORL benchmark and provides an excellent approximation of the Pareto-front with appropriate conditioning, as measured by the hypervolume and sparsity metrics.
• Abstract（参考訳）: 多目的強化学習(MORL)の目的は、複数の競合対象を同時に最適化するポリシーを学ぶことである。 実際には、エージェントの目的に対する選好は apriori では知られておらず、テスト時に任意の選好に一般化できるポリシーが必要である。 そこで本研究では,他のエージェントのオフラインデモとその好みの有限データセットのみを使用して,嗜好非依存のポリシーエージェントを学習したいという,オフラインモードのための新しいデータ駆動設定を提案する。 この作品の主な貢献は2つある。 まず、オフライン設定用に特別に設計されたMORL用のD4MORL, (D)atasetを紹介する。 6つのMuJoCo環境でランダムにサンプリングされた好みを2～3の目的で最適化する参照ポリシをロールアウトした、180万のアノテートデモが含まれている。 第2に,新しい優先・復帰条件ポリシを通じて決定変換器を構築・拡張するオフラインMORLアルゴリズムのファミリであるPareto-Efficient Decision Agents (PEDA)を提案する。 実験により,peda は d4morl ベンチマークの動作ポリシーを密接に近似し,高容積とスパーシティの指標で測定した適切な条件付きパレートフロントの優れた近似を提供することを示した。

関連論文リスト

• C-MORL: Multi-Objective Reinforcement Learning through Efficient Discovery of Pareto Front [9.04360155372014]
  制約付きMORLは制約付きポリシー最適化とMORLのシームレスなブリッジである。 我々のアルゴリズムは、離散的かつ連続的な制御タスクにおいて、ハイパーボリューム、期待されるユーティリティ、およびスパーシリティという観点でより一貫性があり、優れた性能を達成する。
  論文  参考訳（メタデータ） (2024-10-03T06:13:56Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Generalized Multi-Objective Reinforcement Learning with Envelope Updates in URLLC-enabled Vehicular Networks [12.323383132739195]
  我々は,無線ネットワークの選択と自律運転ポリシーを協調的に最適化する,新しい多目的強化学習フレームワークを開発した。 提案フレームワークは,車両の運動力学を制御することにより,交通流の最大化と衝突の最小化を目的としている。 提案されたポリシーにより、自動運転車は、接続性を改善した安全な運転行動を採用することができる。
  論文  参考訳（メタデータ） (2024-05-18T16:31:32Z)
• Policy-regularized Offline Multi-objective Reinforcement Learning [11.58560880898882]
  我々は、単一目的のオフラインRL問題に対して広く適用されたオフラインポリシー規則化手法を、多目的の設定に拡張する。 本研究では,1) 行動選好の近似による選好非一貫性の実証をフィルタリングすること,2) 政策表現性の高い正規化手法を採用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T12:54:10Z)
• Human-in-the-Loop Policy Optimization for Preference-Based Multi-Objective Reinforcement Learning [13.627087954965695]
  好みに基づくMORLのためのHuman-in-the-loopポリシー最適化フレームワークを提案する。 本手法は,事前知識を必要とせずに,DMの暗黙の選好情報を積極的に学習する。 我々は従来の3つのMORLアルゴリズムと4つの最先端の選好に基づくMORLアルゴリズムに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2024-01-04T09:17:53Z)
• Hundreds Guide Millions: Adaptive Offline Reinforcement Learning with Expert Guidance [74.31779732754697]
  本稿では,GORL ( Guided Offline RL) という新しいプラグイン手法を提案する。 GORLは、いくつかの専門家によるデモンストレーションとともにガイドネットワークを使用し、各サンプルに対する政策改善と政策制約の相対的重要性を適応的に決定する。 様々な環境での実験により、GORLは統計的に有意な性能改善を伴い、ほとんどのオフラインRLアルゴリズムに容易にインストール可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-04T08:59:04Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm [0.18416014644193063]
  本稿では,連続ロボット作業にスケーラブルな選好空間全体をカバーするために,単一のユニバーサルネットワークをトレーニングする新しいMORLアルゴリズムを提案する。 PD-MORLは、連続制御タスクに挑戦するために最大25%大きなハイパーボリュームを達成する。
  論文  参考訳（メタデータ） (2022-08-16T19:23:02Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。