論文の概要: RARA: Zero-shot Sim2Real Visual Navigation with Following Foreground Cues

• arxiv url: http://arxiv.org/abs/2201.02798v1
• Date: Sat, 8 Jan 2022 09:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 07:18:23.012930
• Title: RARA: Zero-shot Sim2Real Visual Navigation with Following Foreground Cues
• Title（参考訳）: RARA: 前景を追尾するゼロショットSim2ビジュアルナビゲーション
• Authors: Klaas Kelchtermans, Tinne Tuytelaars
• Abstract要約: 我々は、カメラベースのナビゲーションの特定のケースに取り組み、任意の背景を持つ前景の視覚的キューに従うように定式化する。 目標は、この前景のキューを除いて、空のシミュレーション環境でキャプチャされたデータに視覚エージェントを訓練し、視覚的に多様な現実世界で直接このモデルをテストすることである。
• 参考スコア（独自算出の注目度）: 42.998649025215045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The gap between simulation and the real-world restrains many machine learning breakthroughs in computer vision and reinforcement learning from being applicable in the real world. In this work, we tackle this gap for the specific case of camera-based navigation, formulating it as following a visual cue in the foreground with arbitrary backgrounds. The visual cue in the foreground can often be simulated realistically, such as a line, gate or cone. The challenge then lies in coping with the unknown backgrounds and integrating both. As such, the goal is to train a visual agent on data captured in an empty simulated environment except for this foreground cue and test this model directly in a visually diverse real world. In order to bridge this big gap, we show it's crucial to combine following techniques namely: Randomized augmentation of the fore- and background, regularization with both deep supervision and triplet loss and finally abstraction of the dynamics by using waypoints rather than direct velocity commands. The various techniques are ablated in our experimental results both qualitatively and quantitatively finally demonstrating a successful transfer from simulation to the real world.
• Abstract（参考訳）: シミュレーションと現実世界のギャップは、コンピュータビジョンや強化学習における多くの機械学習のブレークスルーを現実の世界に適用できないようにしている。 本研究では、このギャップをカメラベースのナビゲーションの特定の場合に適用し、任意の背景を持つ前景の視覚的キューに従って定式化する。 前景の視覚的なキューは、線、ゲート、円錐などの現実的にシミュレートすることができる。 課題は、未知のバックグラウンドに対処し、両方を統合することだ。 そのため、この前景のキューを除いて、空のシミュレーション環境でキャプチャされたデータに視覚エージェントを訓練し、視覚的に多様な現実世界で直接このモデルをテストすることが目的である。 この大きなギャップを埋めるために、前景と背景のランダム化、深い監督と三重項損失の両方による正規化、そして直接のベロシティコマンドではなく waypoints を使って最終的にダイナミクスを抽象化するといったテクニックを組み合わせることが重要となる。 実験結果を質的に, 定量的に, シミュレーションから実世界への移動を成功に導くために, 様々な手法を編み出した。

関連論文リスト

• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Scaling Face Interaction Graph Networks to Real World Scenes [12.519862235430153]
  本稿では,グラフベースの学習シミュレータの実行に必要なメモリを大幅に削減する手法を提案する。 提案手法は,従来のグラフベースシミュレータに比べて,精度を保ちながらメモリ使用量が大幅に少ないことを示す。 これにより、学習したシミュレータの応用を、推論時に知覚情報しか利用できない設定に拡張する道が開ける。
  論文  参考訳（メタデータ） (2024-01-22T14:38:25Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Vision-Guided Quadrupedal Locomotion in the Wild with Multi-Modal Delay Randomization [9.014518402531875]
  我々は、予め定義されたコントローラや参照動作を使わずに、物理シミュレータにおけるエンドツーエンド制御のためのRLポリシーを訓練する。 ロボットが高速でスムーズに動き、障害物を回避し、ベースラインよりも大幅に改善できることを実証する。
  論文  参考訳（メタデータ） (2021-09-29T16:48:05Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。