論文の概要: Coarse-to-Fine for Sim-to-Real: Sub-Millimetre Precision Across the Workspace

• arxiv url: http://arxiv.org/abs/2105.11283v1
• Date: Mon, 24 May 2021 14:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:32:41.227421
• Title: Coarse-to-Fine for Sim-to-Real: Sub-Millimetre Precision Across the Workspace
• Title（参考訳）: Sim-to-Realの粗大化:ワークスペース全体のサブミリメートル精度
• Authors: Eugene Valassakis, Norman Di Palo and Edward Johns
• Abstract要約: タスクが精度の高い制御とサブミリメートル誤差耐性、フルワークスペースの一般化の両方を必要とする場合、ゼロショット・シム・トゥ・リアルの問題を考察する。 このフレームワークは,まずポーズ推定に基づく古典的な動作計画から始まり,画像とアクションをマッピングし,ドメインのランダム化によるシミュレーションで訓練するエンド・ツー・エンドのコントローラに遷移する。 このようにして、作業空間全体にわたってコントローラを一般化し、視覚に基づくエンドツーエンド制御の汎用性と堅牢性を保ちながら、正確な制御を実現する。
• 参考スコア（独自算出の注目度）: 7.906608953906891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training control policies for robot manipulation via deep learning, sim-to-real transfer can help satisfy the large data requirements. In this paper, we study the problem of zero-shot sim-to-real when the task requires both highly precise control, with sub-millimetre error tolerance, and full workspace generalisation. Our framework involves a coarse-to-fine controller, where trajectories initially begin with classical motion planning based on pose estimation, and transition to an end-to-end controller which maps images to actions and is trained in simulation with domain randomisation. In this way, we achieve precise control whilst also generalising the controller across the workspace and keeping the generality and robustness of vision-based, end-to-end control. Real-world experiments on a range of different tasks show that, by exploiting the best of both worlds, our framework significantly outperforms purely motion planning methods, and purely learning-based methods. Furthermore, we answer a range of questions on best practices for precise sim-to-real transfer, such as how different image sensor modalities and image feature representations perform.
• Abstract（参考訳）: 深層学習によるロボット操作のための制御ポリシをトレーニングする場合、sim-to-real転送は大きなデータ要求を満たすのに役立つ。 本稿では,ゼロショット・シム・トゥ・リアル(0-shot sim-to-real)の課題について,高精度な制御,サブミリメートル誤差耐性,フルワークスペースの一般化の両面から検討する。 このフレームワークでは,まずはポーズ推定に基づく古典的な動作計画から始まり,画像からアクションへのマッピングとドメインランダム化によるシミュレーションのトレーニングを行うエンドツーエンドコントローラへと遷移する。 このようにして,作業空間全体にわたってコントローラを一般化し,視覚ベースのエンドツーエンド制御の汎用性と堅牢性を維持しながら,高精度な制御を実現する。 さまざまなタスクにおける実世界実験では,両世界のベストを生かしたフレームワークが,純粋に動作計画手法や純粋に学習に基づく手法をはるかに上回っていることが示されている。 さらに、画像センサのモダリティや画像特徴表現の違いなど、正確なsim-to-real転送のためのベストプラクティスに関するさまざまな質問に答える。

関連論文リスト

• Contrastive Learning for Enhancing Robust Scene Transfer in Vision-based Agile Flight [21.728935597793473]
  本研究では、ゼロショットシーン転送と実世界展開を可能にする視覚表現学習のための適応型マルチペアコントラスト学習戦略を提案する。 私たちは、アジャイルでビジョンベースの4倍体飛行のタスクに対して、私たちのアプローチのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2023-09-18T15:25:59Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Task2Sim : Towards Effective Pre-training and Transfer from Synthetic Data [74.66568380558172]
  本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。 本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。 このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。 トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
  論文  参考訳（メタデータ） (2021-11-30T19:25:27Z)
• Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile Image Translation [21.82940445333913]
  触覚ロボットと強化学習に適したシミュレーション環境について紹介する。 データ駆動型アプローチにより、実際の触覚センサの現在の状態を、対応するシミュレーションされた深度画像に変換することができる。 このポリシーは、物理ロボットのリアルタイム制御ループ内に実装され、ゼロショットシム対リアルポリシー転送を実証する。
  論文  参考訳（メタデータ） (2021-06-16T13:58:35Z)
• Sim-to-real reinforcement learning applied to end-to-end vehicle control [0.0]
  本研究では車線追従や衝突回避といった車両制御問題のエンドツーエンド強化学習について検討する。 我々の制御ポリシーでは、実際の2車線の道路の右車線を追従するために小型ロボットを制御できますが、その訓練はシミュレーションでのみ行われました。
  論文  参考訳（メタデータ） (2020-12-14T12:30:47Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。