論文の概要: Let Offline RL Flow: Training Conservative Agents in the Latent Space of
Normalizing Flows
- arxiv url: http://arxiv.org/abs/2211.11096v1
- Date: Sun, 20 Nov 2022 21:57:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 17:08:13.137452
- Title: Let Offline RL Flow: Training Conservative Agents in the Latent Space of
Normalizing Flows
- Title(参考訳): let offline rl flow: 正規化フローの潜在空間における保守エージェントのトレーニング
- Authors: Dmitriy Akimov, Vladislav Kurenkov, Alexander Nikulin, Denis Tarasov,
Sergey Kolesnikov
- Abstract要約: オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。
我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。
提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
- 参考スコア(独自算出の注目度): 58.762959061522736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline reinforcement learning aims to train a policy on a pre-recorded and
fixed dataset without any additional environment interactions. There are two
major challenges in this setting: (1) extrapolation error caused by
approximating the value of state-action pairs not well-covered by the training
data and (2) distributional shift between behavior and inference policies. One
way to tackle these problems is to induce conservatism - i.e., keeping the
learned policies closer to the behavioral ones. To achieve this, we build upon
recent works on learning policies in latent action spaces and use a special
form of Normalizing Flows for constructing a generative model, which we use as
a conservative action encoder. This Normalizing Flows action encoder is
pre-trained in a supervised manner on the offline dataset, and then an
additional policy model - controller in the latent space - is trained via
reinforcement learning. This approach avoids querying actions outside of the
training dataset and therefore does not require additional regularization for
out-of-dataset actions. We evaluate our method on various locomotion and
navigation tasks, demonstrating that our approach outperforms recently proposed
algorithms with generative action models on a large portion of datasets.
- Abstract(参考訳): オフライン強化学習は、追加の環境相互作用なしに、事前記録および固定されたデータセット上でポリシーをトレーニングすることを目的としている。
この設定には,(1) トレーニングデータでよく見つからない状態-動作ペアの値の近似による外挿誤差,(2) 行動と推論ポリシーの分布シフトの2つの大きな課題がある。
これらの問題に取り組む1つの方法は、保守主義(すなわち、学習された政策を行動主義に近づけること)を誘導することである。
これを実現するために、我々は最近、潜在行動空間における学習方針に関する研究を積み重ね、保守的な行動エンコーダとして使用する生成モデルの構築に正規化フローの特別な形式を用いる。
この正規化フローアクションエンコーダは、オフラインデータセット上で教師付き方法で事前トレーニングされ、その後、強化学習を通じて追加のポリシーモデル(潜在領域のコントローラ)がトレーニングされる。
このアプローチは、トレーニングデータセット外のクエリアクションを避けるため、データセット外のアクションにさらなる正規化を必要としない。
提案手法は様々な移動・ナビゲーションタスクにおいて評価し,提案手法が最近提案したアルゴリズムよりも多くのデータセット上で生成行動モデルにより優れていたことを示す。
関連論文リスト
- Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳(メタデータ) (2023-08-28T20:46:07Z) - Offline Reinforcement Learning with Closed-Form Policy Improvement
Operators [88.54210578912554]
行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。
本稿では,閉形式政策改善演算子を提案する。
我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
論文 参考訳(メタデータ) (2022-11-29T06:29:26Z) - Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。
実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。
より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。
提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
論文 参考訳(メタデータ) (2022-03-16T21:17:03Z) - Curriculum Offline Imitation Learning [72.1015201041391]
オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。
我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。
連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
論文 参考訳(メタデータ) (2021-11-03T08:02:48Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳(メタデータ) (2021-10-12T17:05:05Z) - Behavior Constraining in Weight Space for Offline Reinforcement Learning [2.7184068098378855]
オフラインの強化学習では、ポリシーは単一のデータセットから学ぶ必要がある。
そこで,本研究では,本手法を重み空間内で直接制約する新しいアルゴリズムを提案し,その有効性を実験で実証する。
論文 参考訳(メタデータ) (2021-07-12T14:50:50Z) - PLAS: Latent Action Space for Offline Reinforcement Learning [18.63424441772675]
オフライン強化学習の目標は、環境とのさらなる相互作用なしに、固定データセットからポリシーを学ぶことである。
既存のオフプライシアルゴリズムでは、アウト・オブ・ディストリビューションアクションによる外挿エラーによる静的データセットのパフォーマンスが制限されている。
提案手法は,各種の連続制御タスクと異なる種類のデータセットに対して,一貫して競合性能を提供することを示す。
論文 参考訳(メタデータ) (2020-11-14T03:38:38Z) - Keep Doing What Worked: Behavioral Modelling Priors for Offline
Reinforcement Learning [25.099754758455415]
オフポリシー強化学習アルゴリズムは、環境相互作用の固定されたデータセットのみが利用できる設定で適用可能であることを約束する。
標準的なオフポリシーアルゴリズムは、継続的制御のためにバッチ設定で失敗する。
論文 参考訳(メタデータ) (2020-02-19T19:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。