論文の概要: Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL

• arxiv url: http://arxiv.org/abs/2106.09119v1
• Date: Wed, 16 Jun 2021 20:48:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 09:51:55.152464
• Title: Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
• Title（参考訳）: 動作優先とダイナミクスモデル:オフラインrlにおける性能向上とドメイン転送
• Authors: Catherine Cang, Aravind Rajeswaran, Pieter Abbeel, Michael Laskin
• Abstract要約: 適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
• 参考スコア（独自算出の注目度）: 82.93243616342275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline Reinforcement Learning (RL) aims to extract near-optimal policies from imperfect offline data without additional environment interactions. Extracting policies from diverse offline datasets has the potential to expand the range of applicability of RL by making the training process safer, faster, and more streamlined. We investigate how to improve the performance of offline RL algorithms, its robustness to the quality of offline data, as well as its generalization capabilities. To this end, we introduce Offline Model-based RL with Adaptive Behavioral Priors (MABE). Our algorithm is based on the finding that dynamics models, which support within-domain generalization, and behavioral priors, which support cross-domain generalization, are complementary. When combined together, they substantially improve the performance and generalization of offline RL policies. In the widely studied D4RL offline RL benchmark, we find that MABE achieves higher average performance compared to prior model-free and model-based algorithms. In experiments that require cross-domain generalization, we find that MABE outperforms prior methods. Our website is available at https://sites.google.com/berkeley.edu/mabe .
• Abstract（参考訳）: オフライン強化学習(英語版) (RL) は、追加の環境相互作用なしに不完全なオフラインデータから準最適ポリシーを抽出することを目的としている。 多様なオフラインデータセットからポリシーを抽出することで、トレーニングプロセスをより安全で速く、より合理化することにより、RLの適用範囲を広げる可能性がある。 本研究では,オフラインrlアルゴリズムの性能向上,オフラインデータの品質に対する堅牢性,一般化機能について検討する。 そこで我々は,オフラインモデルに基づく適応行動優先型rl(mabe)を導入する。 本アルゴリズムは、ドメイン内一般化をサポートする動的モデルと、ドメイン間一般化をサポートする振る舞い先行が相補的であることに基づく。 組み合わせると、オフラインのRLポリシーの性能と一般化が大幅に向上する。 広く研究されている D4RL オフライン RL ベンチマークでは,MABE が従来のモデルフリーおよびモデルベースアルゴリズムと比較して高い平均性能を達成することがわかった。 クロスドメインの一般化を必要とする実験では、MABEは従来の手法よりも優れていた。 私たちのウェブサイトはhttps://sites.google.com/berkeley.edu/mabeで閲覧できます。

関連論文リスト

• Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization [1.631115063641726]
  オフラインデータセットのための高品質な仮想トラジェクトリを生成するために拡散モデルを導入し,PPOアルゴリズムを強化するフレームワークを提案する。 RLにおける拡散モデルの可能性、特にオフラインデータセットについて検討し、オンラインRLをオフライン環境に拡張し、拡散モデルによるPPOの性能改善を実験的に検証する。
  論文  参考訳（メタデータ） (2024-09-02T19:10:32Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets [53.8218145723718]
  オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。 我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。 本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:58:14Z)
• Contextual Transformer for Offline Meta Reinforcement Learning [16.587320914107128]
  シーケンスモデリングに基づくオフライン強化学習(オフラインRL)アルゴリズムにおいて、プロンプトがどのように改善できるかを示す。 本稿では、条件付きポリシー生成を導くために、入力とコンテキストベクトル列をテキスト化するオフラインRLのプロンプトチューニングを提案する。 フレームワークをメタRL設定に拡張し,CMT(Contextual Meta Transformer)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T10:00:14Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)
• Representation Matters: Offline Pretraining for Sequential Decision Making [27.74988221252854]
  本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。 教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-11T02:38:12Z)
• Critic Regularized Regression [70.8487887738354]
  批判正規化回帰(CRR)形式を用いてデータからポリシーを学習するための新しいオフラインRLアルゴリズムを提案する。 CRRは驚くほどよく動作し、高次元の状態と行動空間を持つタスクにスケールする。
  論文  参考訳（メタデータ） (2020-06-26T17:50:26Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。