論文の概要: Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation

• arxiv url: http://arxiv.org/abs/2004.14684v1
• Date: Thu, 30 Apr 2020 10:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 05:16:49.046265
• Title: Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation
• Title（参考訳）: 深度に基づくロボットナビゲーションの強化学習のためのインクリメンタル環境複雑度を用いたシミュレータ間移動
• Authors: Thomas Chaffre, Julien Moras, Adrien Chan-Hon-Tong, Julien Marzat
• Abstract要約: 段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。 アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
• 参考スコア（独自算出の注目度）: 1.290382979353427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferring learning-based models to the real world remains one of the hardest problems in model-free control theory. Due to the cost of data collection on a real robot and the limited sample efficiency of Deep Reinforcement Learning algorithms, models are usually trained in a simulator which theoretically provides an infinite amount of data. Despite offering unbounded trial and error runs, the reality gap between simulation and the physical world brings little guarantee about the policy behavior in real operation. Depending on the problem, expensive real fine-tuning and/or a complex domain randomization strategy may be required to produce a relevant policy. In this paper, a Soft-Actor Critic (SAC) training strategy using incremental environment complexity is proposed to drastically reduce the need for additional training in the real world. The application addressed is depth-based mapless navigation, where a mobile robot should reach a given waypoint in a cluttered environment with no prior mapping information. Experimental results in simulated and real environments are presented to assess quantitatively the efficiency of the proposed approach, which demonstrated a success rate twice higher than a naive strategy.
• Abstract（参考訳）: 学習に基づくモデルを現実世界に移すことは、モデルフリー制御理論における最も難しい問題の1つである。 実際のロボットのデータ収集コストや、深層強化学習アルゴリズムのサンプル効率が限られているため、モデルは通常、理論上無限の量のデータを提供するシミュレータで訓練される。 非有界な試行とエラーの実行を提供するが、シミュレーションと物理世界の間の現実的なギャップは、実際の運用におけるポリシーの振る舞いをほとんど保証しない。 問題によっては、高価な真の微調整および/または複雑な領域ランダム化戦略が関連するポリシーを作成するために必要となる。 本稿では,段階的環境複雑性を用いたソフトアクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減する。 アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。 シミュレーションおよび実環境における実験結果から,提案手法の効率を定量的に評価し,本手法よりも2倍の成功率を示した。

関連論文リスト

• LoopSR: Looping Sim-and-Real for Lifelong Policy Adaptation of Legged Robots [20.715834172041763]
  本稿では,生涯にわたるポリシー適応フレームワークであるLoopSRを提案する。 さらなる改善のためにシミュレーションで現実世界の環境を再構築する。 継続的なトレーニングを活用することで、LoopSRは強力なベースラインに比べて優れたデータ効率を達成する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:25Z)
• Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [15.792914346054502]
  我々は、カバーパス計画(CPP)のための強化学習エージェント(RL)のSim-to-real転送の課題に取り組む。 シミュレーションされたセンサと障害物を利用しながら、現実のロボットやリアルタイムの側面を含む半仮想環境を通じて、シミュレートと現実のギャップを橋渡しする。 高い推測周波数は、一階マルコフのポリシーをシミュレーションから直接転送することを可能にし、高階のポリシーを微調整することで、sim-to-realのギャップをさらに減らすことができる。
  論文  参考訳（メタデータ） (2024-06-07T13:24:19Z)
• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• ASID: Active Exploration for System Identification in Robotic Manipulation [32.27299045059514]
  本稿では,少数の実世界のデータを活用して,シミュレーションモデルを自律的に洗練し,正確な制御戦略を立案する学習システムを提案する。 本研究は, ロボット操作作業における調音, 質量, その他の物理パラメータの同定における, このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T16:35:38Z)
• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Zero-shot Sim2Real Adaptation Across Environments [45.44896435487879]
  本稿では,実世界のシミュレートされたポリシーを模倣することを学ぶリバースアクショントランスフォーメーション(RAT)ポリシーを提案する。 RATは、新しい環境へのゼロショット適応を達成するために、Universal Policy Network上にデプロイできる。
  論文  参考訳（メタデータ） (2023-02-08T11:59:07Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Zero-Shot Reinforcement Learning with Deep Attention Convolutional Neural Networks [12.282277258055542]
  本研究では、特定の視覚センサ構成を持つ深層注意畳み込みニューラルネットワーク(DACNN)が、より低い計算複雑性で高いドメインとパラメータの変動を持つデータセット上でトレーニングを行うことを示す。 我々の新しいアーキテクチャは、制御対象に対する認識に適応し、知覚ネットワークを事前訓練することなくゼロショット学習を実現する。
  論文  参考訳（メタデータ） (2020-01-02T19:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。