論文の概要: Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL
- arxiv url: http://arxiv.org/abs/2305.00567v1
- Date: Sun, 30 Apr 2023 20:15:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 14:38:13.887443
- Title: Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL
- Title(参考訳): オフラインマルチ目的rlによるパレート効率の高い意思決定のスケーリング
- Authors: Baiting Zhu, Meihua Dang, Aditya Grover
- Abstract要約: 多目的強化学習(MORL)の目的は、複数の競合対象を同時に最適化するポリシーを学ぶことである。
我々は、オフラインMORLのための新しいデータ駆動型セットアップを提案し、そこで、好みに依存しないポリシーエージェントを学習したい。
PEDAはオフラインのMORLアルゴリズムのファミリーであり、新しい優先順位と条件付きポリシーを通じて決定変換器を構築し拡張する。
- 参考スコア(独自算出の注目度): 22.468486569700236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of multi-objective reinforcement learning (MORL) is to learn
policies that simultaneously optimize multiple competing objectives. In
practice, an agent's preferences over the objectives may not be known apriori,
and hence, we require policies that can generalize to arbitrary preferences at
test time. In this work, we propose a new data-driven setup for offline MORL,
where we wish to learn a preference-agnostic policy agent using only a finite
dataset of offline demonstrations of other agents and their preferences. The
key contributions of this work are two-fold. First, we introduce D4MORL,
(D)atasets for MORL that are specifically designed for offline settings. It
contains 1.8 million annotated demonstrations obtained by rolling out reference
policies that optimize for randomly sampled preferences on 6 MuJoCo
environments with 2-3 objectives each. Second, we propose Pareto-Efficient
Decision Agents (PEDA), a family of offline MORL algorithms that builds and
extends Decision Transformers via a novel preference-and-return-conditioned
policy. Empirically, we show that PEDA closely approximates the behavioral
policy on the D4MORL benchmark and provides an excellent approximation of the
Pareto-front with appropriate conditioning, as measured by the hypervolume and
sparsity metrics.
- Abstract(参考訳): 多目的強化学習(MORL)の目的は、複数の競合対象を同時に最適化するポリシーを学ぶことである。
実際には、エージェントの目的に対する選好は apriori では知られておらず、テスト時に任意の選好に一般化できるポリシーが必要である。
そこで本研究では,他のエージェントのオフラインデモとその好みの有限データセットのみを使用して,嗜好非依存のポリシーエージェントを学習したいという,オフラインモードのための新しいデータ駆動設定を提案する。
この作品の主な貢献は2つある。
まず、オフライン設定用に特別に設計されたMORL用のD4MORL, (D)atasetを紹介する。
6つのMuJoCo環境でランダムにサンプリングされた好みを2~3の目的で最適化する参照ポリシをロールアウトした、180万のアノテートデモが含まれている。
第2に,新しい優先・復帰条件ポリシを通じて決定変換器を構築・拡張するオフラインMORLアルゴリズムのファミリであるPareto-Efficient Decision Agents (PEDA)を提案する。
実験により,peda は d4morl ベンチマークの動作ポリシーを密接に近似し,高容積とスパーシティの指標で測定した適切な条件付きパレートフロントの優れた近似を提供することを示した。
関連論文リスト
- Policy-regularized Offline Multi-objective Reinforcement Learning [11.58560880898882]
我々は、単一目的のオフラインRL問題に対して広く適用されたオフラインポリシー規則化手法を、多目的の設定に拡張する。
本研究では,1) 行動選好の近似による選好非一貫性の実証をフィルタリングすること,2) 政策表現性の高い正規化手法を採用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2024-01-04T12:54:10Z) - Human-in-the-Loop Policy Optimization for Preference-Based
Multi-Objective Reinforcement Learning [13.627087954965695]
好みに基づくMORLのためのHuman-in-the-loopポリシー最適化フレームワークを提案する。
本手法は,事前知識を必要とせずに,DMの暗黙の選好情報を積極的に学習する。
我々は従来の3つのMORLアルゴリズムと4つの最先端の選好に基づくMORLアルゴリズムに対するアプローチを評価する。
論文 参考訳(メタデータ) (2024-01-04T09:17:53Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct
Preference Optimization [78.50294936259026]
我々は、最小限のオーバーヘッドで複数のアライメント目標に対して、MODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは言語モデリングを直接報酬モデリングに折り畳み、全ての目的を特定の重み付けと組み合わせた暗黙的な集団報酬モデル(cRM)としてLMを訓練する。
理論上は MORLHF と同じ最適解を生成することが保証されているが、MODPO は事実上より安定で計算的に効率的である。
論文 参考訳(メタデータ) (2023-10-05T17:35:26Z) - Hundreds Guide Millions: Adaptive Offline Reinforcement Learning with
Expert Guidance [74.31779732754697]
本稿では,GORL ( Guided Offline RL) という新しいプラグイン手法を提案する。
GORLは、いくつかの専門家によるデモンストレーションとともにガイドネットワークを使用し、各サンプルに対する政策改善と政策制約の相対的重要性を適応的に決定する。
様々な環境での実験により、GORLは統計的に有意な性能改善を伴い、ほとんどのオフラインRLアルゴリズムに容易にインストール可能であることが示唆された。
論文 参考訳(メタデータ) (2023-09-04T08:59:04Z) - Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。
本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。
本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T09:05:46Z) - Beyond Reward: Offline Preference-guided Policy Optimization [18.49648170835782]
オフライン優先型強化学習(英語: offline preference-based reinforcement learning, PbRL)は、従来の強化学習の変種であり、オンラインインタラクションを必要としない。
本研究は、オフライン優先誘導政策最適化(OPPO)の話題に焦点を当てる。
OPPOは1ステップのプロセスでオフラインの軌跡と好みをモデル化し、報酬関数を別々に学習する必要がない。
論文 参考訳(メタデータ) (2023-05-25T16:24:11Z) - Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。
我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。
我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
論文 参考訳(メタデータ) (2023-05-24T07:11:26Z) - Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。
この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。
MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
論文 参考訳(メタデータ) (2022-10-14T03:22:43Z) - PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning
Algorithm [0.18416014644193063]
本稿では,連続ロボット作業にスケーラブルな選好空間全体をカバーするために,単一のユニバーサルネットワークをトレーニングする新しいMORLアルゴリズムを提案する。
PD-MORLは、連続制御タスクに挑戦するために最大25%大きなハイパーボリュームを達成する。
論文 参考訳(メタデータ) (2022-08-16T19:23:02Z) - Pareto Deterministic Policy Gradients and Its Application in 5G Massive
MIMO Networks [32.099949375036495]
我々は,強化学習(RL)アプローチを用いて,セルロードバランスとネットワークスループットを協調的に最適化することを検討する。
RLの背景にある理論的根拠は、ユーザモビリティとネットワークのダイナミクスを解析的にモデル化することの難しさを回避することである。
この共同最適化を実現するために、ベクトル報酬をRL値ネットワークに統合し、別々のポリシーネットワークを介してRLアクションを実行する。
論文 参考訳(メタデータ) (2020-12-02T15:35:35Z) - MOPO: Model-based Offline Policy Optimization [183.6449600580806]
オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。
既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。
本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
論文 参考訳(メタデータ) (2020-05-27T08:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。