論文の概要: Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2112.15578v1
• Date: Fri, 31 Dec 2021 18:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 13:51:49.627844
• Title: Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習における経験的サンプル複雑性分析の重要性
• Authors: Samin Yeasar Arnob, Riashat Islam, Doina Precup
• Abstract要約: オフラインデータから学習するサンプルの数に依存しているかどうかを問う。 我々の目的は、オフラインRLのサンプル複雑性の研究が重要であり、既存のオフラインアルゴリズムの有用性を示す指標である点を強調することである。
• 参考スコア（独自算出の注目度）: 55.90351453865001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We hypothesize that empirically studying the sample complexity of offline reinforcement learning (RL) is crucial for the practical applications of RL in the real world. Several recent works have demonstrated the ability to learn policies directly from offline data. In this work, we ask the question of the dependency on the number of samples for learning from offline data. Our objective is to emphasize that studying sample complexity for offline RL is important, and is an indicator of the usefulness of existing offline algorithms. We propose an evaluation approach for sample complexity analysis of offline RL.
• Abstract（参考訳）: オフライン強化学習(RL)のサンプル複雑性を実証的に研究することは、実世界におけるRLの実践的応用にとって重要であると仮定する。 いくつかの最近の研究は、オフラインデータから直接ポリシーを学ぶ能力を示している。 本研究では,オフラインデータから学習するためのサンプル数への依存度について質問する。 我々の目的は、オフラインRLのサンプル複雑性の研究が重要であり、既存のオフラインアルゴリズムの有用性を示す指標であることを強調することである。 オフラインRLのサンプル複雑性解析のための評価手法を提案する。

関連論文リスト

• Discovering Multiple Solutions from a Single Task in Offline Reinforcement Learning [51.00472376469131]
  オフライン強化学習において,一つのタスクから複数の解を学習するアルゴリズムを提案する。 実験の結果,提案アルゴリズムはオフラインRLにおいて,定性的,定量的に複数の解を学習することがわかった。
  論文  参考訳（メタデータ） (2024-06-10T03:25:49Z)
• Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage [32.578787778183546]
  オフライン強化学習(RL)アルゴリズムは、過去の(オフライン)データを用いて最適な警察を学習する。 オフラインRLの主な課題の1つは、分散シフトである。 分散ロバスト学習(DRL)フレームワークを用いた2つのオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-27T19:19:30Z)
• Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning [66.43003402281659]
  オンラインデータ収集を効率的に活用してオフラインデータセットを強化し補完する方法に、中心的な疑問が浮かび上がっている。 我々は、純粋なオフラインRLと純粋なオンラインRLという、両方の世界のベストを打ち負かす3段階のハイブリッドRLアルゴリズムを設計する。 提案アルゴリズムは,データ収集時に報酬情報を必要としない。
  論文  参考訳（メタデータ） (2023-05-17T15:17:23Z)
• Bridging the Gap Between Offline and Online Reinforcement Learning Evaluation Methodologies [6.303272140868826]
  強化学習(Reinforcement Learning, RL)は、大規模な状態と行動空間を持つ環境で学習するアルゴリズムに対して、非常に有望であることを示す。 現在の深層RLアルゴリズムは、学習に膨大な量の環境相互作用を必要とする。 オフラインのRLアルゴリズムは、既存のログデータから学習プロセスをブートストラップすることでこの問題に対処しようとする。
  論文  参考訳（メタデータ） (2022-12-15T20:36:10Z)
• Offline Reinforcement Learning: Fundamental Barriers for Value Function Approximation [74.3002974673248]
  本稿では,ログデータから意思決定方針を学習することを目的としたオフライン強化学習問題を考察する。 オンラインデータ収集は安全クリティカルなドメインに適しているため、オフラインのRLは現実的にますます重要になっている。 以上の結果から, サンプル効率の良いオフライン強化学習には, 制限的カバレッジ条件か, あるいは複雑性学習を超える表現条件が必要であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-21T23:22:37Z)
• Instabilities of Offline RL with Pre-Trained Neural Representation [127.89397629569808]
  オフライン強化学習(RL)では、オフラインデータを利用して、評価対象のポリシーのそれとは大きく異なる分布からデータが収集されるシナリオでポリシーを評価する(または学習する)ことを目指しています。 最近の理論的進歩は、そのようなサンプル効率の良いオフラインRLが確かにある強い表現条件が保持されることを示した。 本研究は,オフラインrlメソッドの安定性を評価するために,経験的視点からこれらの問題を考察する。
  論文  参考訳（メタデータ） (2021-03-08T18:06:44Z)
• Representation Matters: Offline Pretraining for Sequential Decision Making [27.74988221252854]
  本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。 教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-11T02:38:12Z)
• D4RL: Datasets for Deep Data-Driven Reinforcement Learning [119.49182500071288]
  オフラインRLのリアルタイムアプリケーションに関連するデータセットのキープロパティによってガイドされるオフライン設定用に特別に設計されたベンチマークを紹介する。 部分的に訓練されたRLエージェントによって収集された単純なベンチマークタスクやデータを超えて、既存のアルゴリズムの重要かつ未承認な欠陥を明らかにする。
  論文  参考訳（メタデータ） (2020-04-15T17:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。