論文の概要: Sim-to-Real Transfer with Incremental Environment Complexity for
Reinforcement Learning of Depth-Based Robot Navigation
- arxiv url: http://arxiv.org/abs/2004.14684v1
- Date: Thu, 30 Apr 2020 10:47:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 05:16:49.046265
- Title: Sim-to-Real Transfer with Incremental Environment Complexity for
Reinforcement Learning of Depth-Based Robot Navigation
- Title(参考訳): 深度に基づくロボットナビゲーションの強化学習のためのインクリメンタル環境複雑度を用いたシミュレータ間移動
- Authors: Thomas Chaffre, Julien Moras, Adrien Chan-Hon-Tong, Julien Marzat
- Abstract要約: 段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。
アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
- 参考スコア(独自算出の注目度): 1.290382979353427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transferring learning-based models to the real world remains one of the
hardest problems in model-free control theory. Due to the cost of data
collection on a real robot and the limited sample efficiency of Deep
Reinforcement Learning algorithms, models are usually trained in a simulator
which theoretically provides an infinite amount of data. Despite offering
unbounded trial and error runs, the reality gap between simulation and the
physical world brings little guarantee about the policy behavior in real
operation. Depending on the problem, expensive real fine-tuning and/or a
complex domain randomization strategy may be required to produce a relevant
policy. In this paper, a Soft-Actor Critic (SAC) training strategy using
incremental environment complexity is proposed to drastically reduce the need
for additional training in the real world. The application addressed is
depth-based mapless navigation, where a mobile robot should reach a given
waypoint in a cluttered environment with no prior mapping information.
Experimental results in simulated and real environments are presented to assess
quantitatively the efficiency of the proposed approach, which demonstrated a
success rate twice higher than a naive strategy.
- Abstract(参考訳): 学習に基づくモデルを現実世界に移すことは、モデルフリー制御理論における最も難しい問題の1つである。
実際のロボットのデータ収集コストや、深層強化学習アルゴリズムのサンプル効率が限られているため、モデルは通常、理論上無限の量のデータを提供するシミュレータで訓練される。
非有界な試行とエラーの実行を提供するが、シミュレーションと物理世界の間の現実的なギャップは、実際の運用におけるポリシーの振る舞いをほとんど保証しない。
問題によっては、高価な真の微調整および/または複雑な領域ランダム化戦略が関連するポリシーを作成するために必要となる。
本稿では,段階的環境複雑性を用いたソフトアクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減する。
アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
シミュレーションおよび実環境における実験結果から,提案手法の効率を定量的に評価し,本手法よりも2倍の成功率を示した。
関連論文リスト
- Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach
for Robust Manipulation [23.273475303471375]
模倣学習法は、対象のポーズ、身体的乱れ、視覚的気晴らしに頑健なポリシーを学ぶために、人間の監督を必要とする。
一方、強化学習は、堅牢な振る舞いを学ぶために、自律的に環境を探索することができるが、現実的なデータ収集を非現実的に必要とすることができる。
本研究では, 実世界の模倣学習政策を, 「デジタルツイン」シミュレーション環境における強化学習によって強化するシステムであるRialToを提案する。
論文 参考訳(メタデータ) (2024-03-06T18:55:36Z) - REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous
Manipulation [61.7171775202833]
本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。
我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。
本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
論文 参考訳(メタデータ) (2023-09-06T19:05:31Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳(メタデータ) (2023-07-28T05:47:24Z) - Zero-shot Sim2Real Adaptation Across Environments [45.44896435487879]
本稿では,実世界のシミュレートされたポリシーを模倣することを学ぶリバースアクショントランスフォーメーション(RAT)ポリシーを提案する。
RATは、新しい環境へのゼロショット適応を達成するために、Universal Policy Network上にデプロイできる。
論文 参考訳(メタデータ) (2023-02-08T11:59:07Z) - Navigating to Objects in the Real World [76.1517654037993]
本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。
モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。
対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
論文 参考訳(メタデータ) (2022-12-02T01:10:47Z) - Off Environment Evaluation Using Convex Risk Minimization [0.0]
本稿では,シミュレータと対象領域間のモデルミスマッチを推定する凸リスク最小化アルゴリズムを提案する。
対象領域におけるRLエージェントの性能を評価するために,シミュレータとともにこの推定器を使用できることを示す。
論文 参考訳(メタデータ) (2021-12-21T21:31:54Z) - Robot Learning from Randomized Simulations: A Review [59.992761565399185]
ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。
最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。
本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
論文 参考訳(メタデータ) (2021-11-01T13:55:41Z) - DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain
Randomization Reinforcement Learning [4.040937987024427]
ドメインランダム化(DR)は、このギャップをほとんど、あるいは全く現実世界のデータで埋めることのできる方法論である。
シミュレーションで訓練されたDeepRLベースの自動運転車を強固にするために、敵対モデルが提案されている。
論文 参考訳(メタデータ) (2021-07-25T09:15:46Z) - Reactive Long Horizon Task Execution via Visual Skill and Precondition
Models [59.76233967614774]
シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。
シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
論文 参考訳(メタデータ) (2020-11-17T15:24:01Z) - RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
論文 参考訳(メタデータ) (2020-06-16T08:58:07Z) - Zero-Shot Reinforcement Learning with Deep Attention Convolutional
Neural Networks [12.282277258055542]
本研究では、特定の視覚センサ構成を持つ深層注意畳み込みニューラルネットワーク(DACNN)が、より低い計算複雑性で高いドメインとパラメータの変動を持つデータセット上でトレーニングを行うことを示す。
我々の新しいアーキテクチャは、制御対象に対する認識に適応し、知覚ネットワークを事前訓練することなくゼロショット学習を実現する。
論文 参考訳(メタデータ) (2020-01-02T19:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。