論文の概要: The Least Restriction for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2107.01757v1
• Date: Mon, 5 Jul 2021 01:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 14:53:18.669117
• Title: The Least Restriction for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習における最小制限
• Authors: Zizhou Su
• Abstract要約: 我々は、創造的なオフライン強化学習フレームワーク、Least Restriction (LR)を提案する。 LRは、アクションを選択することを確率分布からサンプルを取るとみなす。 ランダムとサブ最適のデモを含む、さまざまなオフラインデータセットから堅牢に学習することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many practical applications of reinforcement learning (RL) constrain the agent to learn from a fixed offline dataset of logged interactions, which has already been gathered, without offering further possibility for data collection. However, commonly used off-policy RL algorithms, such as the Deep Q Network and the Deep Deterministic Policy Gradient, are incapable of learning without data correlated to the distribution under the current policy, making them ineffective for this offline setting. As the first step towards useful offline RL algorithms, we analysis the reason of instability in standard off-policy RL algorithms. It is due to the bootstrapping error. The key to avoiding this error, is ensuring that the agent's action space does not go out of the fixed offline dataset. Based on our consideration, a creative offline RL framework, the Least Restriction (LR), is proposed in this paper. The LR regards selecting an action as taking a sample from the probability distribution. It merely set a little limit for action selection, which not only avoid the action being out of the offline dataset but also remove all the unreasonable restrictions in earlier approaches (e.g. Batch-Constrained Deep Q-Learning). In the further, we will demonstrate that the LR, is able to learn robustly from different offline datasets, including random and suboptimal demonstrations, on a range of practical control tasks.
• Abstract（参考訳）: 強化学習(RL)の実践的な応用の多くは、データ収集のさらなる可能性を提供することなく、すでに収集されたログされたインタラクションの固定されたオフラインデータセットから学習することをエージェントに制限している。 しかし、Deep Q NetworkやDeep Deterministic Policy Gradientといった、一般的に使われている非政治的RLアルゴリズムは、現在のポリシーの下での分布に相関するデータなしでは学習できないため、このオフライン設定では効果がない。 有効なオフラインRLアルゴリズムへの第一歩として、標準的なオフラインRLアルゴリズムの不安定性の理由を解析する。 これはブートストラップエラーによる。 このエラーを回避する鍵は、エージェントのアクションスペースが固定されたオフラインデータセットから外れないようにすることです。 本稿では,創造的なオフライン RL フレームワークである Least Restriction (LR) を提案する。 LRは、アクションを選択することを確率分布からサンプルを取るとみなす。 これは単にアクション選択の小さな制限を設定するだけであり、オフラインデータセットからアクションを避けるだけでなく、以前のアプローチ(例えば、)で不合理な制限をすべて削除する。 Batch-Constrained Deep Q-Learning)。 さらに、lrは、ランダムおよびサブ最適のデモンストレーションを含むさまざまなオフラインデータセットから、さまざまな実用的な制御タスクで堅牢に学習できることを実証する。

関連論文リスト

• Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets [53.8218145723718]
  オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。 我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。 本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:58:14Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Know Your Boundaries: The Necessity of Explicit Behavioral Cloning in Offline RL [28.563015766188478]
  本稿では,価値学習を制約する行動ポリシーを明示的にクローンするオフライン強化学習アルゴリズムを提案する。 D4RL と Robomimic ベンチマークのいくつかのデータセットで最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:43Z)
• Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning [147.61075994259807]
  オフラインRLに対するデータ中心型アプローチであるオフラインRL(ExORL)の探索データを提案する。 ExORLは最初、教師なしの報酬のない探索でデータを生成し、オフラインのRLでポリシーをトレーニングする前に、そのデータを下流の報酬でラベル付けする。 探索データにより、オフライン固有の変更なしに、バニラオフポリティRLアルゴリズムが、ダウンストリームタスクで最先端のオフラインRLアルゴリズムより優れているか、あるいは一致することが判明した。
  論文  参考訳（メタデータ） (2022-01-31T18:39:27Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)
• Continuous Doubly Constrained Batch Reinforcement Learning [93.23842221189658]
  環境とのオンラインインタラクションではなく、固定されたオフラインデータセットのみを使用して効果的なポリシーを学ぶバッチRLのアルゴリズムを提案する。 バッチRLにおける制限されたデータは、トレーニングデータに不十分に表現された状態/動作の値推定に固有の不確実性をもたらす。 この分散を減らすための政策制約と、過度に楽観的な見積もりを妨げる価値制約という2つの簡単な罰則によってこの問題を軽減することを提案する。
  論文  参考訳（メタデータ） (2021-02-18T08:54:14Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。