論文の概要: World Model Based Sim2Real Transfer for Visual Navigation

• arxiv url: http://arxiv.org/abs/2310.18847v1
• Date: Sat, 28 Oct 2023 23:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:05:17.868436
• Title: World Model Based Sim2Real Transfer for Visual Navigation
• Title（参考訳）: 視覚ナビゲーションのためのworld model based sim2real transfer
• Authors: Chen Liu, Kiran Lekkala, Laurent Itti
• Abstract要約: 本稿では,従来のtextitWorld Model のコンポーネントを堅牢なシステムに融合させる新しいシステムを提案する。 我々のロボットは、複雑なtextitFirst-Person View(FPV)ベースのRGBイメージからBEV表現への変換を最初に学習することでシミュレータでナビゲートすることを学ぶ。 現実世界でテストする場合、ロボットはFPVベースのRGB画像を下流ポリシーで使用される埋め込みに変換する知覚モデルを使用する。
• 参考スコア（独自算出の注目度）: 14.341176512246326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sim2Real transfer has gained popularity because it helps transfer from inexpensive simulators to real world. This paper presents a novel system that fuses components in a traditional \textit{World Model} into a robust system, trained entirely within a simulator, that \textit{Zero-Shot} transfers to the real world. To facilitate transfer, we use an intermediary representation that are based on \textit{Bird's Eye View (BEV)} images. Thus, our robot learns to navigate in a simulator by first learning to translate from complex \textit{First-Person View (FPV)} based RGB images to BEV representations, then learning to navigate using those representations. Later, when tested in the real world, the robot uses the perception model that translates FPV-based RGB images to embeddings that are used by the downstream policy. The incorporation of state-checking modules using \textit{Anchor images} and \textit{Mixture Density LSTM} not only interpolates uncertain and missing observations but also enhances the robustness of the model when exposed to the real-world environment. We trained the model using data collected using a \textit{Differential drive} robot in the CARLA simulator. Our methodology's effectiveness is shown through the deployment of trained models onto a \textit{Real world Differential drive} robot. Lastly we release a comprehensive codebase, dataset and models for training and deployment that are available to the public.
• Abstract（参考訳）: sim2real transferは安価なシミュレーターから現実世界への転送を支援するため、人気を集めている。 本稿では,従来の \textit{world model} のコンポーネントをロバストなシステムに融合し,シミュレータ内で完全にトレーニングし, \textit{zero-shot} を実世界へ転送する新しいシステムを提案する。 転送を容易にするために、我々は \textit{bird's eye view (bev)} イメージに基づく中間表現を使用する。 そこで,本ロボットはまず,複雑な \textit{First-Person View (FPV) ベースのRGBイメージからBEV表現への変換を学習し,その表現を用いてナビゲートを学習する。 その後、現実世界でテストする場合、ロボットは知覚モデルを使用して、fpvベースのrgbイメージを下流ポリシーで使用される埋め込みに変換する。 状態チェックモジュールを \textit{Anchor image} と \textit{Mixture density LSTM} で組み込むことは、不確実かつ欠落した観測を補間するだけでなく、実環境に晒される際のモデルの堅牢性を高める。 carlaシミュレータの \textit{differential drive} ロボットを用いて収集したデータを用いてモデルをトレーニングした。 提案手法の有効性は,トレーニングされたモデルをtextit{Real world Differential drive} ロボットに配置することによって示される。 最後に、トレーニングとデプロイメントのための包括的なコードベース、データセット、モデルを公開しています。

関連論文リスト

• Learning autonomous driving from aerial imagery [67.06858775696453]
  フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
  論文  参考訳（メタデータ） (2024-10-18T05:09:07Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation [8.81267687440119]
  KOVISは、目視ステレオカメラシステムを用いたロボット操作作業のための、学習ベースで校正不要なビジュアルサーボ手法である。 シミュレーション環境でのみ、ディープニューラルネットワークをトレーニングします。 本研究では,ロボット操作タスクのシミュレーション環境と実環境実験の両方において,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-28T02:53:28Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。