論文の概要: Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning

• arxiv url: http://arxiv.org/abs/2310.18247v2
• Date: Sat, 16 Mar 2024 21:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 03:12:40.268434
• Title: Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning
• Title（参考訳）: オフライン強化学習と模倣学習のためのガイド付きデータ強化
• Authors: Nicholas E. Corrado, Yuxiao Qu, John U. Balis, Adam Labiosa, Josiah P. Hanna,
• Abstract要約: オフライン強化学習(RL)では、RLエージェントは、以前に収集したデータの固定データセットのみを使用してタスクを解決することを学習する。 本稿では,専門家の質の高い拡張データを生成するためのガイド付きデータ拡張(GuDA)を提案する。 GuDAは、潜在的に最適でない経験の小さな初期データセットを与えられた学習を可能にする。
• 参考スコア（独自算出の注目度）: 3.586527534935176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In offline reinforcement learning (RL), an RL agent learns to solve a task using only a fixed dataset of previously collected data. While offline RL has been successful in learning real-world robot control policies, it typically requires large amounts of expert-quality data to learn effective policies that generalize to out-of-distribution states. Unfortunately, such data is often difficult and expensive to acquire in real-world tasks. Several recent works have leveraged data augmentation (DA) to inexpensively generate additional data, but most DA works apply augmentations in a random fashion and ultimately produce highly suboptimal augmented experience. In this work, we propose Guided Data Augmentation (GuDA), a human-guided DA framework that generates expert-quality augmented data. The key insight behind GuDA is that while it may be difficult to demonstrate the sequence of actions required to produce expert data, a user can often easily characterize when an augmented trajectory segment represents progress toward task completion. Thus, a user can restrict the space of possible augmentations to automatically reject suboptimal augmented data. To extract a policy from GuDA, we use off-the-shelf offline reinforcement learning and behavior cloning algorithms. We evaluate GuDA on a physical robot soccer task as well as simulated D4RL navigation tasks, a simulated autonomous driving task, and a simulated soccer task. Empirically, GuDA enables learning given a small initial dataset of potentially suboptimal experience and outperforms a random DA strategy as well as a model-based DA strategy.
• Abstract（参考訳）: オフライン強化学習(RL)では、RLエージェントは、以前に収集したデータの固定データセットのみを使用してタスクを解決することを学習する。 オフラインのRLは、現実世界のロボット制御ポリシーを学ぶのに成功しているが、通常は、アウト・オブ・ディストリビューション状態に一般化する効果的なポリシーを学ぶために、大量の専門家品質のデータを必要とする。 残念ながら、そのようなデータは多くの場合、現実世界のタスクで取得するのが困難で費用がかかる。 近年のいくつかの研究は、データ拡張(DA)を利用して、データの追加を安価に生成しているが、ほとんどのDA研究はランダムな方法で拡張を適用し、最終的に非常に最適な拡張体験を生み出している。 本研究では,有能な拡張データを生成する人間誘導型DAフレームワークであるGuDA(Guid Data Augmentation)を提案する。 GuDAの背後にある重要な洞察は、専門家データを生成するのに必要なアクションのシーケンスを示すのは難しいかもしれないが、拡張軌跡セグメントがタスク完了に向けた進捗を表す場合、ユーザーは容易に特徴付けることができるということである。 これにより、ユーザは、拡張可能な空間を制限して、最適でない拡張データを自動的に拒否することができる。 GuDAからポリシーを抽出するために、オフザシェルフのオフライン強化学習と行動クローニングアルゴリズムを用いる。 我々は,物理ロボットサッカーの課題とシミュレーションD4RLナビゲーションタスク,シミュレーション自律運転タスク,シミュレーションサッカータスクについてGuDAを評価する。 経験的に、GuDAは、潜在的に最適でない経験の小さな初期データセットを与えられた場合の学習を可能にし、ランダムなDA戦略とモデルベースのDA戦略を上回ります。

関連論文リスト

• Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
  本研究では,未ラベルの事前軌跡データを用いて効率的な探索戦略を学習する方法について検討する。 我々の手法 SUPE (Skills from Unlabeled Prior Data for Exploration) は、これらのアイデアの慎重な組み合わせがそれらの利点を兼ね備えていることを示す。 実験により,SUPEが従来の戦略を確実に上回り,長い水平・スパース・リワードタスクの一組の解決に成功したことを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-23T17:58:45Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling [11.751910133386254]
  バッチ(オフライン)強化学習の最近の進歩は、利用可能なオフラインデータから学習する上で有望な結果を示している。 本研究では,不確実性推定を用いて人間の実演データを注入する手法を提案する。 実験の結果,本手法は,専門家データと準最適エージェントから収集したデータを組み合わせる方法に比べて,よりサンプル効率が高いことがわかった。
  論文  参考訳（メタデータ） (2022-12-16T01:41:59Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Generalization in Reinforcement Learning by Soft Data Augmentation [11.752595047069505]
  SODA(Soft Data Augmentation)は、政策学習からAugmentationを分離する手法である。 我々は、最先端のビジョンベースRL法によるトレーニングにおいて、サンプル効率、一般化、安定性を著しく向上するSODAを見出した。
  論文  参考訳（メタデータ） (2020-11-26T17:00:34Z)
• Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
  相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。 本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
  論文  参考訳（メタデータ） (2020-10-16T18:48:49Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。