論文の概要: Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a
Survey
- arxiv url: http://arxiv.org/abs/2009.13303v2
- Date: Thu, 8 Jul 2021 09:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 05:14:53.878900
- Title: Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a
Survey
- Title（参考訳）: ロボットの深部強化学習におけるシム・トゥ・リール移動
- Authors: Wenshuai Zhao, Jorge Pe\~na Queralta, Tomi Westerlund
- Abstract要約: 深層強化学習におけるsim-to-realトランスファーの背景について述べる。
本稿では,ドメインランダム化,ドメイン適応,模倣学習,メタラーニング,知識蒸留の3つの主要な手法について概説する。
- 参考スコア（独自算出の注目度）: 0.07366405857677225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning has recently seen huge success across multiple
areas in the robotics domain. Owing to the limitations of gathering real-world
data, i.e., sample inefficiency and the cost of collecting it, simulation
environments are utilized for training the different agents. This not only aids
in providing a potentially infinite data source, but also alleviates safety
concerns with real robots. Nonetheless, the gap between the simulated and real
worlds degrades the performance of the policies once the models are transferred
into real robots. Multiple research efforts are therefore now being directed
towards closing this sim-to-real gap and accomplish more efficient policy
transfer. Recent years have seen the emergence of multiple methods applicable
to different domains, but there is a lack, to the best of our knowledge, of a
comprehensive review summarizing and putting into context the different
methods. In this survey paper, we cover the fundamental background behind
sim-to-real transfer in deep reinforcement learning and overview the main
methods being utilized at the moment: domain randomization, domain adaptation,
imitation learning, meta-learning and knowledge distillation. We categorize
some of the most relevant recent works, and outline the main application
scenarios. Finally, we discuss the main opportunities and challenges of the
different approaches and point to the most promising directions.
- Abstract（参考訳）: 深層強化学習は最近、ロボット分野の複数の領域で大きな成功を収めている。
実世界のデータ収集の限界、すなわちサンプルの非効率性と収集コストにより、シミュレーション環境は異なるエージェントの訓練に利用される。
これは、潜在的に無限のデータソースを提供するのに役立つだけでなく、実際のロボットによる安全性の懸念を和らげる。
それでも、シミュレーションと実世界のギャップは、モデルが実際のロボットに移動されると、ポリシーのパフォーマンスを低下させる。
それゆえ、複数の研究努力が、このシム・トゥ・リアルギャップを閉じ、より効率的な政策移行を達成するために向けられている。
近年、異なるドメインに適用可能な複数のメソッドが出現していますが、私たちの知る限りでは、異なるメソッドを要約し、コンテキストにまとめた包括的なレビューが不足しています。
本稿では,深層強化学習におけるsim-to-realトランスファーの背景を概説し,現在活用されている主な手法であるドメインのランダム化,ドメイン適応,模倣学習,メタラーニング,知識蒸留について概説する。
関連性の高い最近の研究をいくつか分類し、主なアプリケーションシナリオを概説する。
最後に、異なるアプローチの主な機会と課題について議論し、最も有望な方向性を指摘する。
関連論文リスト
- TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction [25.36756787147331]
シミュレーションの学習と実世界への学習は、ジェネラリストロボットを可能にする可能性がある。
そこで本研究では,Human-in-the-loopフレームワークをベースとしたSIM-to-real転送を実現するためのデータ駆動型手法を提案する。
本手法は,家具組立などの複雑かつ接触に富んだ操作作業において,シミュレートから現実への伝達を成功させることができることを示す。
論文 参考訳（メタデータ） (2024-05-16T17:59:07Z) - Cross Domain Policy Transfer with Effect Cycle-Consistency [3.3213136251955815]
深層強化学習法を用いてスクラッチからロボットポリシーを訓練することは、サンプルの非効率性のために違法にコストがかかる可能性がある。
本研究では、未ペアデータを用いてドメイン間の状態空間と行動空間間のマッピング関数を学習するための新しい手法を提案する。
我々のアプローチは3つの移動タスクと2つのロボット操作タスクでテストされている。
論文 参考訳（メタデータ） (2024-03-04T13:20:07Z) - Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial
Application Case on Autonomous Disassembly [55.41644538483948]
我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。
合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。
この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
論文 参考訳（メタデータ） (2023-01-12T14:00:37Z) - Navigating to Objects in the Real World [76.1517654037993]
本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。
モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。
対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
論文 参考訳（メタデータ） (2022-12-02T01:10:47Z) - Distilled Domain Randomization [23.178141671320436]
本稿では,無作為な物理シミュレーションからの強化学習と政策蒸留を組み合わせることを提案する。
我々のアルゴリズムはDistilled Domain Randomization (DiDoR)と呼ばれ、ドメインの専門家であるいわゆる教師ポリシーを蒸留する。
このようにして、DiDoRは、ターゲットドメインからのデータを必要とせずに、シミュレーションから現実へ直接移行するコントローラを学習する。
論文 参考訳（メタデータ） (2021-12-06T16:35:08Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration
Under Uncertainty [6.42522897323111]
シミュレーション環境で高性能探査政策を自己学習するための枠組みを提案する。
本稿では,グラフニューラルネットワークと深層強化学習を併用した新しい手法を提案する。
論文 参考訳（メタデータ） (2021-05-11T02:42:17Z) - COG: Connecting New Skills to Past Experience with Offline Reinforcement
Learning [78.13740204156858]
我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。
我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。
我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
論文 参考訳（メタデータ） (2020-10-27T17:57:29Z) - Low Dimensional State Representation Learning with Reward-shaped Priors [7.211095654886105]
本研究では,観測結果から低次元状態空間への写像の学習を目的とした手法を提案する。
このマッピングは、環境とタスクの事前知識を組み込むために形作られた損失関数を用いて教師なしの学習で学習される。
本手法は,シミュレーション環境における移動ロボットナビゲーションタスクおよび実ロボット上でのテストを行う。
論文 参考訳（メタデータ） (2020-07-29T13:00:39Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z) - From Simulation to Real World Maneuver Execution using Deep
Reinforcement Learning [69.23334811890919]
深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。
これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。
本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
論文 参考訳（メタデータ） (2020-05-13T14:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。