論文の概要: Learning Geometry-Aware Planning Representations for Monocular Flight with Cross-Modal Supervision
- arxiv url: http://arxiv.org/abs/2610.26508v1
- Date: Mon, 19 Oct 2026 14:44:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 02:48:27.497133
- Title: Learning Geometry-Aware Planning Representations for Monocular Flight with Cross-Modal Supervision
- Title(参考訳): クロスモーダル・スーパービジョンを用いた単眼飛行のための幾何学学習型計画表現
- Abstract要約: 本稿では,2つの画像フレーム,相対的なポーズ,MAV状態から軌跡を予測できる幾何学的一眼的視覚計画フレームワークを提案する。
このフレームワークはまず、深度に基づく幾何の専門家を訓練し、次にペアのRGB-D観測を用いてその計画特徴を単分子分岐に蒸留し、最後に、プランナーを下流の軌道計画目標に適応させる。
- 参考スコア(独自算出の注目度): 14.459481563977683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing high-speed navigation systems for micro aerial vehicles (MAVs) commonly rely on depth cameras, stereo vision, or LiDAR to obtain explicit geometric information, while monocular cameras offer a lighter and lower-cost alternative. However, monocular flight remains challenging because RGB images offer no direct metric cues and visual appearance varies considerably across environments. We propose a geometry-aware monocular visual planning framework that predicts trajectories from two image frames, their relative pose, and the MAV state. Without explicitly reconstructing depth, the proposed method complements the downstream planning objective with feature-level geometric supervision by transferring the planning-relevant representation learned by a privileged depth expert to the RGB planner through cross-modal distillation. The framework first trains a depth-based geometric expert, then distills its planning features into a monocular branch using paired RGB-D observations, and finally adapts the planner to the downstream trajectory planning objective. This design encourages the policy to learn planning-relevant geometric features, enabling collision avoidance. We further use a 3D Gaussian Splatting (3DGS) simulator to render visual observations for data collection, paired RGB-D supervision, and simulation evaluation. The planner trained in simulation is then deployed in real-world environments without real-world fine-tuning, achieving obstacle avoidance at speeds of up to 6.5 m/s.
- Abstract(参考訳): 既存のマイクロエアロビー用高速ナビゲーションシステム(MAV)は、通常、深度カメラ、ステレオビジョン、またはLiDARを使って明確な幾何学的情報を得るが、モノクロカメラはより軽量で低コストな代替手段を提供する。
しかし、RGB画像は直接の計測手段を提供しておらず、視覚的な外観は環境によって大きく異なるため、単眼飛行は依然として困難である。
本稿では,2つの画像フレーム,相対的なポーズ,MAV状態から軌跡を予測できる幾何学的一眼的視覚計画フレームワークを提案する。
提案手法は, 深度を明示的に再構成することなく, クロスモーダル蒸留により, 特権深度専門家が学習した計画関連表現をRGBプランナーに転送することにより, 下流計画目標と特徴レベルの幾何的監督を補完する。
このフレームワークはまず、深度に基づく幾何の専門家を訓練し、次にペアのRGB-D観測を用いてその計画特徴を単分子分岐に蒸留し、最後に、プランナーを下流の軌道計画目標に適応させる。
この設計は、計画に関連した幾何学的特徴を学習するポリシーを奨励し、衝突回避を可能にする。
さらに3次元ガウス散乱(3DGS)シミュレータを用いて,データ収集,RGB-D監視,シミュレーション評価を行った。
シミュレーションで訓練されたプランナーは、現実世界の微調整なしで実際の環境に展開され、最大6.5m/sの速度で障害物回避を実現する。
関連論文リスト
- Stereo-Planner: Learning Stereo-to-Trajectory Planning for Zero-Shot Sim-to-Real Quadrotor Navigation [28.743559945396864]
ステレオRGB観測からゼロショット・シム・トゥ・リアルプランニングを可能にするエンドツーエンドのビジョン・ツー・トラジェクトリフレームワークを提案する。
Scene Representorは、事前訓練された視覚基盤モデルを導入し、シミュレーションおよび実世界の環境間で共有される幾何学的手がかりを抽出する。
トラジェクトリデコーダは、これらの表現をインターリーブされた注意を通してトラジェクトリに変換する。
論文 参考訳(メタデータ) (2026-10-11T12:04:10Z) - Pixel-wise Planarity for High-Precision Monocular Plane Segmentation [56.92684417018378]
単一のRGB画像からの平面分割は、不正確な領域のグルーピングと幾何学的に矛盾した監督のため、依然として困難である。
本研究では,ロバストな単分子平面分割のための画素単位の平面性予測フレームワークを提案する。
提案手法は,従来の最先端手法と比較して,幾何精度とセグメンテーション品質の向上を実現する。
論文 参考訳(メタデータ) (2026-09-04T10:51:33Z) - Iterative Hybrid Discrete-Continuous Viewpoint Planning for UAV Photogrammetry [0.20524609401792396]
無人航空機(UAV)の撮影には、十分な表面カバレッジ、画像オーバーラップ、パララックス、解像度を提供するカメラネットワークが必要である。
本稿では,プロキシ再構成によるUAV光線量計の反復的ハイブリッド型離散連続視点計画法を提案する。
論文 参考訳(メタデータ) (2026-08-06T07:57:33Z) - IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation [76.36174247570716]
ポーズレス多視点画像から連続的かつ一貫性のある幾何を暗黙的にモデル化するインプリシトビジュアル幾何変換器IVGTを提案する。
IVGTは標準座標系で連続的なニューラルネットワークシーン表現を学習し、任意の3D位置での連続的な空間クエリをサポートする。
連続的かつコヒーレントな表面形状の直接抽出を可能にし、任意の視点からRGB画像、深度マップ、表面正規写像のレンダリングを可能にする。
論文 参考訳(メタデータ) (2026-05-15T17:59:57Z) - Gamma-from-Mono: Road-Relative, Metric, Self-Supervised Monocular Geometry for Vehicular Applications [2.9457242478147503]
本稿では,軽量な単分子幾何推定法であるGamma-from-Mono (GfM)を紹介する。
GfMはガンマで表される残差とともに支配的な道路面を予測する。
地上のカメラの高さだけで、GfMは決定論的に閉じた形を通してメートル法的な深さを回復する。
論文 参考訳(メタデータ) (2025-12-03T22:37:38Z) - PLANA3R: Zero-shot Metric Planar 3D Reconstruction via Feed-Forward Planar Splatting [56.188624157291024]
提案するPLANA3Rは,提案しない2次元画像から平面3次元再構成を計測するためのポーズレスフレームワークである。
トレーニング中に3次元平面アノテーションを必要とする以前のフィードフォワード法とは異なり、PLANA3Rは明確な平面監督なしで平面3次元構造を学習する。
本研究は,複数の室内環境データセットに対するPLANA3Rの有効性を検証するとともに,領域外屋内環境への強力な一般化を実証する。
論文 参考訳(メタデータ) (2025-10-21T15:15:33Z) - MonoPlane: Exploiting Monocular Geometric Cues for Generalizable 3D Plane Reconstruction [37.481945507799594]
本稿では,MonoPlaneという汎用的な3次元平面検出・再構成フレームワークを提案する。
まず、大規模な事前学習ニューラルネットワークを用いて、1つの画像から深度と表面の正常値を得る。
これらの特異な幾何学的手がかりを近接誘導RANSACフレームワークに組み込んで各平面インスタンスに順次適合させる。
論文 参考訳(メタデータ) (2024-11-02T12:15:29Z) - OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。