論文の概要: Guided Data Augmentation for Offline Reinforcement Learning and
Imitation Learning
- arxiv url: http://arxiv.org/abs/2310.18247v1
- Date: Fri, 27 Oct 2023 16:34:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 13:08:48.580015
- Title: Guided Data Augmentation for Offline Reinforcement Learning and
Imitation Learning
- Title(参考訳): オフライン強化学習と模倣学習のための誘導データ拡張
- Authors: Nicholas E. Corrado, Yuxiao Qu, John U. Balis, Adam Labiosa, Josiah P.
Hanna
- Abstract要約: 本稿では,専門家の質の高い拡張データを生成するためのガイド付きデータ拡張(GuDA)を提案する。
GuDAは、潜在的に最適でないデモの小さなセットから学習を可能にし、拡張データをランダムにサンプリングするDA戦略を大幅に上回る。
- 参考スコア(独自算出の注目度): 3.8477915551719213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning from demonstration (LfD) is a popular technique that uses expert
demonstrations to learn robot control policies. However, the difficulty in
acquiring expert-quality demonstrations limits the applicability of LfD
methods: real-world data collection is often costly, and the quality of the
demonstrations depends greatly on the demonstrator's abilities and safety
concerns. A number of works have leveraged data augmentation (DA) to
inexpensively generate additional demonstration data, but most DA works
generate augmented data in a random fashion and ultimately produce highly
suboptimal data. In this work, we propose Guided Data Augmentation (GuDA), a
human-guided DA framework that generates expert-quality augmented data. The key
insight of GuDA is that while it may be difficult to demonstrate the sequence
of actions required to produce expert data, a user can often easily identify
when an augmented trajectory segment represents task progress. Thus, the user
can impose a series of simple rules on the DA process to automatically generate
augmented samples that approximate expert behavior. To extract a policy from
GuDA, we use off-the-shelf offline reinforcement learning and behavior cloning
algorithms. We evaluate GuDA on a physical robot soccer task as well as
simulated D4RL navigation tasks, a simulated autonomous driving task, and a
simulated soccer task. Empirically, we find that GuDA enables learning from a
small set of potentially suboptimal demonstrations and substantially
outperforms a DA strategy that samples augmented data randomly.
- Abstract(参考訳): learning from demonstration(lfd)は、ロボットの制御ポリシーを学ぶために、専門家によるデモンストレーションを使用する一般的なテクニックである。
実世界のデータ収集はコストがかかることが多く、デモの質はデモの能力や安全性に大きく依存する。
多くの研究がデータ拡張(DA)を活用して追加のデモデータを安価に生成していますが、ほとんどのDA作業はランダムな方法で拡張データを生成し、最終的に非常に最適なデータを生成します。
本研究では,有能な拡張データを生成する人間誘導型DAフレームワークであるGuDA(Guid Data Augmentation)を提案する。
GuDAのキーとなる洞察は、専門家データを生成するのに必要なアクションのシーケンスを示すのは難しいかもしれないが、拡張された軌道セグメントがタスクの進行を表すときに容易に識別できるということである。
これにより、DAプロセスに一連の簡単なルールを課し、専門家の行動を近似した拡張サンプルを自動的に生成することができる。
gudaからポリシーを抽出するために,オフライン強化学習と行動クローニングアルゴリズムを用いた。
我々は,物理ロボットサッカーの課題とシミュレーションD4RLナビゲーションタスク,シミュレーション自律運転タスク,シミュレーションサッカータスクについてGuDAを評価する。
経験的に、GuDAは、潜在的に最適でないデモの小さなセットから学習することができ、無作為なデータ収集を行うDA戦略よりも大幅に優れています。
関連論文リスト
- CUDC: A Curiosity-Driven Unsupervised Data Collection Method with
Adaptive Temporal Distances for Offline Reinforcement Learning [62.58375643251612]
本稿では,Curiosity-driven Unsupervised Data Collection (CUDC)法を提案する。
この適応的な到達性機構により、特徴表現は多様化することができ、エージェントは、好奇心で高品質なデータを集めるために自分自身をナビゲートすることができる。
実験的に、CUDCはDeepMindコントロールスイートの様々なダウンストリームオフラインRLタスクにおいて、既存の教師なし手法よりも効率と学習性能が優れている。
論文 参考訳(メタデータ) (2023-12-19T14:26:23Z) - Offline Robot Reinforcement Learning with Uncertainty-Guided Human
Expert Sampling [11.751910133386254]
バッチ(オフライン)強化学習の最近の進歩は、利用可能なオフラインデータから学習する上で有望な結果を示している。
本研究では,不確実性推定を用いて人間の実演データを注入する手法を提案する。
実験の結果,本手法は,専門家データと準最適エージェントから収集したデータを組み合わせる方法に比べて,よりサンプル効率が高いことがわかった。
論文 参考訳(メタデータ) (2022-12-16T01:41:59Z) - Jump-Start Reinforcement Learning [68.82380421479675]
本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。
特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。
実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:25:22Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳(メタデータ) (2022-02-17T02:44:05Z) - Don't Change the Algorithm, Change the Data: Exploratory Data for
Offline Reinforcement Learning [147.61075994259807]
オフラインRLに対するデータ中心型アプローチであるオフラインRL(ExORL)の探索データを提案する。
ExORLは最初、教師なしの報酬のない探索でデータを生成し、オフラインのRLでポリシーをトレーニングする前に、そのデータを下流の報酬でラベル付けする。
探索データにより、オフライン固有の変更なしに、バニラオフポリティRLアルゴリズムが、ダウンストリームタスクで最先端のオフラインRLアルゴリズムより優れているか、あるいは一致することが判明した。
論文 参考訳(メタデータ) (2022-01-31T18:39:27Z) - S4RL: Surprisingly Simple Self-Supervision for Offline Reinforcement
Learning [28.947071041811586]
オフライン強化学習は、インタラクションなしで大規模なデータセットからポリシーを学ぶことを提案する。
現在のアルゴリズムは、トレーニング対象のデータセットに過度に適合し、デプロイ時に環境への不適切な分散一般化を実行する。
本稿では,環境にデプロイした場合の一般化と補間に優れた値関数を学習するために,状態からのデータ拡張を利用する,驚くほど単純な自己スーパービジョンアルゴリズム(s4rl)を提案する。
論文 参考訳(メタデータ) (2021-03-10T20:13:21Z) - Generalization in Reinforcement Learning by Soft Data Augmentation [11.752595047069505]
SODA(Soft Data Augmentation)は、政策学習からAugmentationを分離する手法である。
我々は、最先端のビジョンベースRL法によるトレーニングにおいて、サンプル効率、一般化、安定性を著しく向上するSODAを見出した。
論文 参考訳(メタデータ) (2020-11-26T17:00:34Z) - Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。
本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
論文 参考訳(メタデータ) (2020-10-16T18:48:49Z) - AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。
以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
論文 参考訳(メタデータ) (2020-06-16T17:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。