論文の概要: VRL3: A Data-Driven Framework for Visual Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2202.10324v1
- Date: Thu, 17 Feb 2022 09:51:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-22 15:56:57.553783
- Title: VRL3: A Data-Driven Framework for Visual Deep Reinforcement Learning
- Title(参考訳): VRL3: ビジュアルディープ強化学習のためのデータ駆動フレームワーク
- Authors: Che Wang, Xufang Luo, Keith Ross, Dongsheng Li
- Abstract要約: 本稿では,高度に困難な視覚深層学習(DRL)課題を解決するためのデータ駆動型フレームワークを提案する。
我々は、データ駆動アプローチをとる際の多くの大きな障害を分析し、データ駆動型ビジュアルDRLに関する一連の設計原則、トレーニング戦略、重要な洞察を提示します。
- 参考スコア(独自算出の注目度): 14.869611817084015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a simple but powerful data-driven framework for solving highly
challenging visual deep reinforcement learning (DRL) tasks. We analyze a number
of major obstacles in taking a data-driven approach, and present a suite of
design principles, training strategies, and critical insights about data-driven
visual DRL. Our framework has three stages: in stage 1, we leverage non-RL
datasets (e.g. ImageNet) to learn task-agnostic visual representations; in
stage 2, we use offline RL data (e.g. a limited number of expert
demonstrations) to convert the task-agnostic representations into more powerful
task-specific representations; in stage 3, we fine-tune the agent with online
RL. On a set of highly challenging hand manipulation tasks with sparse reward
and realistic visual inputs, our framework learns 370%-1200% faster than the
previous SOTA method while using an encoder that is 50 times smaller, fully
demonstrating the potential of data-driven deep reinforcement learning.
- Abstract(参考訳): 高度に課題の多いdrl(visual deep reinforcement learning)タスクを解決するための,シンプルかつ強力なデータ駆動フレームワークを提案する。
我々は、データ駆動アプローチをとる際の多くの大きな障害を分析し、データ駆動型ビジュアルDRLに関する一連の設計原則、トレーニング戦略、重要な洞察を提示します。
我々のフレームワークには3つのステージがある: ステージ1では非RLデータセット(例: ImageNet)を使ってタスクに依存しない視覚表現を学習し、ステージ2ではオフラインのRLデータ(例: 限られた数の専門家によるデモンストレーション)を使ってタスクに依存しない表現をより強力なタスク固有の表現に変換する。
sparse reward と real visual input を用いた極めて困難なハンド操作タスクのセットでは,従来の sota 法よりも 370%-1200% 高速に学習し,データ駆動型深層強化学習の可能性を完全に実証するエンコーダを用いた。
関連論文リスト
- M2CURL: Sample-Efficient Multimodal Reinforcement Learning via
Self-Supervised Representation Learning for Robotic Manipulation [0.850206009406913]
マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。
提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。
Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-01-30T14:09:35Z) - Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。
我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。
我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
論文 参考訳(メタデータ) (2023-07-28T16:03:28Z) - MoDem: Accelerating Visual Model-Based Reinforcement Learning with
Demonstrations [36.44386146801296]
サンプルの低さは、現実世界のアプリケーションに深層強化学習(RL)アルゴリズムをデプロイする上で、依然として最大の課題である。
モデルベースRLのサンプル効率を劇的に向上させることができるのは,ごく少数のデモンストレーションのみである。
本研究では,3つの複雑なビジュオモータ制御領域を実験的に検討し,スパース報酬タスクの完了に150%-250%成功していることを確認した。
論文 参考訳(メタデータ) (2022-12-12T04:28:50Z) - Light-weight probing of unsupervised representations for Reinforcement
Learning [10.642105903491421]
分散度が低く,計算コストが最大600倍の教師なし視覚表現の評価プロトコルを提案する。
本研究では,ある状態における報酬の予測と,ある状態における専門家の行動の予測という2つの線形探索タスクを提案する。
厳密な実験により,Atari100kベンチマークの下流制御性能と強く相関していることを示す。
論文 参考訳(メタデータ) (2022-08-25T21:08:01Z) - Offline Visual Representation Learning for Embodied Navigation [50.442660137987275]
自己教師付き学習による視覚表現のオフライン事前学習(SSL)
長期学習スケジュール下での画像強調による特定のタスクにおけるビジュモータ表現のオンライン微調整
論文 参考訳(メタデータ) (2022-04-27T23:22:43Z) - X-Learner: Learning Cross Sources and Tasks for Universal Visual
Representation [71.51719469058666]
本稿では,X-Learnerという表現学習フレームワークを提案する。
X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。
X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-16T17:23:26Z) - 2nd Place Scheme on Action Recognition Track of ECCV 2020 VIPriors
Challenges: An Efficient Optical Flow Stream Guided Framework [57.847010327319964]
我々は、小さなデータセットでモデルをスクラッチからトレーニングできるデータ効率フレームワークを提案する。
具体的には、3D中心差分畳み込み演算を導入することで、新しいC3Dニューラルネットワークベースの2ストリームフレームワークを提案する。
提案手法は,大規模データセット上で事前学習したモデルがなくても,有望な結果が得られることを実証した。
論文 参考訳(メタデータ) (2020-08-10T09:50:28Z) - PointContrast: Unsupervised Pre-training for 3D Point Cloud
Understanding [107.02479689909164]
本研究では,3次元表現学習の研究を支援することを目的とする。
教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
論文 参考訳(メタデータ) (2020-07-21T17:59:22Z) - Generalized Hindsight for Reinforcement Learning [154.0545226284078]
1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。
本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
論文 参考訳(メタデータ) (2020-02-26T18:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。