論文の概要: Learning Vision-Based Omnidirectional Navigation: A Teacher-Student Approach Using Monocular Depth Estimation
- arxiv url: http://arxiv.org/abs/2603.01999v1
- Date: Mon, 02 Mar 2026 15:50:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.948487
- Title: Learning Vision-Based Omnidirectional Navigation: A Teacher-Student Approach Using Monocular Depth Estimation
- Title（参考訳）: 視覚に基づく全方位ナビゲーションの学習:単眼深度推定を用いた教師学生のアプローチ
- Authors: Jan Finke, Wayne Paul Martis, Adrian Schmelter, Lars Erbach, Christian Jestel, Marvin Wiedemann,
- Abstract要約: 2D LiDARセンサーは、環境の1つの水平スライスしか認識せず、スキャン面の上や下にある重要な障害物を欠いている。
本稿では,LiDARセンサの不要な視覚型移動ロボットナビゲーションのための教師支援フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 1.3458279593461018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable obstacle avoidance in industrial settings demands 3D scene understanding, but widely used 2D LiDAR sensors perceive only a single horizontal slice of the environment, missing critical obstacles above or below the scan plane. We present a teacher-student framework for vision-based mobile robot navigation that eliminates the need for LiDAR sensors. A teacher policy trained via Proximal Policy Optimization (PPO) in NVIDIA Isaac Lab leverages privileged 2D LiDAR observations that account for the full robot footprint to learn robust navigation. The learned behavior is distilled into a student policy that relies solely on monocular depth maps predicted by a fine-tuned Depth Anything V2 model from four RGB cameras. The complete inference pipeline, comprising monocular depth estimation (MDE), policy execution, and motor control, runs entirely onboard an NVIDIA Jetson Orin AGX mounted on a DJI RoboMaster platform, requiring no external computation for inference. In simulation, the student achieves success rates of 82-96.5%, consistently outperforming the standard 2D LiDAR teacher (50-89%). In real-world experiments, the MDE-based student outperforms the 2D LiDAR teacher when navigating around obstacles with complex 3D geometries, such as overhanging structures and low-profile objects, that fall outside the single scan plane of a 2D LiDAR.
- Abstract（参考訳）: 産業環境での信頼性の高い障害物回避は、3Dシーンの理解を必要とするが、広く使われている2D LiDARセンサーは、環境の1つの水平スライスしか認識せず、スキャン面の上や下にある重要な障害物を欠いている。
本稿では,LiDARセンサの不要な視覚型移動ロボットナビゲーションのための教師支援フレームワークを提案する。
NVIDIA Isaac LabのPPO(Proximal Policy Optimization)を通じてトレーニングされた教師ポリシーは、2D LiDARの特権的な観察を活用し、ロボットのフットプリント全体を考慮し、堅牢なナビゲーションを学ぶ。
学習された行動は、4台のRGBカメラから細調整されたDepth Anything V2モデルによって予測される単眼深度マップにのみ依存する学生ポリシーに蒸留される。
単眼深度推定(MDE)、ポリシー実行、モーター制御を含む完全な推論パイプラインは、DJI RoboMasterプラットフォームに搭載されたNVIDIA Jetson Orin AGXで完全に動作し、推論の外部計算を必要としない。
シミュレーションでは、学生は82-96.5%の成功率を獲得し、2D LiDARの標準教師(50-89%)を一貫して上回っている。
実世界の実験では、MDEをベースとした学生は、2D LiDARの単一のスキャンプレーンの外に落ちてくる構造や低視認性オブジェクトなどの複雑な3Dジオメトリーで障害物をナビゲートする際に、2D LiDARの教師より優れています。
関連論文リスト
- D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation [66.7166217399105]
エージェントは、エンドツーエンドモデルには解釈可能性や明示的な3D推論が欠けているという、重要なジレンマに直面します。
1) 計画,グラウンド,ナビゲーション,質問応答を単一の3D-VLMパイプラインとCoTパイプラインで統一する動的3Dチェーン(3D CoT) ; 2) フラグメンテッド・スーパービジョン(SLFS)戦略からのシナジスティック学習 マスク付き自己回帰損失を用いて,大規模かつ部分的に注釈付けされたハイブリッドデータから学習する。
論文 参考訳（メタデータ） (2025-12-14T09:53:15Z) - Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。
アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。
モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
論文 参考訳（メタデータ） (2025-07-05T14:15:52Z) - Weak Cube R-CNN: Weakly Supervised 3D Detection using only 2D Bounding Boxes [5.492174268132387]
3Dオブジェクト検出器は通常、完全に教師された方法で訓練され、3Dラベル付きデータに大きく依存する。
この研究は、モノクラー法によるデータ要求を減らすために、弱教師付き3D検出に焦点を当てている。
本稿では,3次元の物体を推定時に予測できる一般モデルWeak Cube R-CNNを提案する。
論文 参考訳（メタデータ） (2025-04-17T19:13:42Z) - Reflective Teacher: Semi-Supervised Multimodal 3D Object Detection in Bird's-Eye-View via Uncertainty Measure [5.510678909146336]
そこで我々は,学生がラベル付きデータと擬似ラベル付きデータの両方で訓練される,反射型教員という新しい概念を紹介した。
また,マルチモーダルなBEV特徴の効率的なアライメントのためのGeometry Aware BEV Fusion (GA-BEV)を提案する。
論文 参考訳（メタデータ） (2024-12-05T16:54:39Z) - Training an Open-Vocabulary Monocular 3D Object Detection Model without 3D Data [57.53523870705433]
我々はOVM3D-Detと呼ばれる新しいオープン語彙単分子オブジェクト検出フレームワークを提案する。
OVM3D-Detは、入力または3Dバウンディングボックスを生成するために高精度のLiDARや3Dセンサーデータを必要としない。
オープンボキャブラリ2Dモデルと擬似LiDARを使用して、RGB画像に3Dオブジェクトを自動的にラベル付けし、オープンボキャブラリ単分子3D検出器の学習を促進する。
論文 参考訳（メタデータ） (2024-11-23T21:37:21Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳（メタデータ） (2024-03-21T06:14:46Z) - NaviNeRF: NeRF-based 3D Representation Disentanglement by Latent Semantic Navigation [48.08517291377735]
3D表現のゆがみは、3Dデータの基本的な説明因子を特定し、分解し、操作することを目的としている。
NeRFは生成するNeRFパイプライン上に構築されており、アウターナビゲーションブランチとインナーリファインメントブランチを備えている。
NaviNeRFは、従来の3D対応モデルよりもきめ細かい3Dディスタングル能力が優れている。
論文 参考訳（メタデータ） (2023-04-22T07:48:17Z) - 3D-Aware Object Goal Navigation via Simultaneous Exploration and
Identification [19.125633699422117]
本稿では,2つの簡単なサブ政治に基づく3D認識型ObjectNavのフレームワークを提案する。
私たちのフレームワークは,Matterport3DとGibsonのデータセット上で,すべてのモジュールベースのメソッドの中で最高のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2022-12-01T07:55:56Z) - PillarGrid: Deep Learning-based Cooperative Perception for 3D Object
Detection from Onboard-Roadside LiDAR [15.195933965761645]
我々は,複数の3次元LiDARからの情報を融合した新しい協調認識手法であるtextitPillarGridを提案する。
PillarGrid は,1) 点雲の協調前処理,2) 軸方向のボキセル化と特徴抽出,3) 複数のセンサからの特徴のグリッド方向の深層融合,4) 畳み込みニューラルネットワーク(CNN) に基づく3Dオブジェクト検出である。
広汎な実験により、PillarGridはSOTA単一LiDARに基づく3Dオブジェクト検出法よりも精度と範囲を大きなマージンで上回ることがわかった。
論文 参考訳（メタデータ） (2022-03-12T02:28:41Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳（メタデータ） (2021-04-06T02:22:24Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-17T05:11:38Z) - Learning to Predict the 3D Layout of a Scene [0.3867363075280544]
本稿では,単一のRGB画像のみを使用する手法を提案し,LiDARセンサを持たないデバイスや車両に適用できるようにする。
KITTIデータセットは,クラスラベル付き道路交通シーン,2D境界ボックス,自由度7自由度3Dアノテーションで構成される。
我々は、公式のKITTIベンチマークで要求されるように、結合閾値70%の3次元交差で測定された適度に困難なデータに対して平均47.3%の平均精度を達成し、従来の最先端のRGBのみの手法よりも大きなマージンで上回った。
論文 参考訳（メタデータ） (2020-11-19T17:23:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。