論文の概要: SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments
- arxiv url: http://arxiv.org/abs/2603.21046v1
- Date: Sun, 22 Mar 2026 03:56:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.207233
- Title: SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments
- Title(参考訳): SpaceFly: 都市環境におけるUAV視覚・言語ナビゲーションのための幾何学誘導型表現アライメント
- Abstract要約: UAV VLNのための幾何学誘導空間表現フレームワークを提案する。
明示的な3次元再構成を伴わないRGB観測において、SpatialFlyは幾何学誘導2次元表示アライメント機構を導入する。
実験結果から、SpatialFlyは現状のUAV VLNベースラインを目に見える環境と見えない環境の両方で一貫して上回っていることが明らかとなった。
- 参考スコア(独自算出の注目度): 49.966170814478915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: UAVs play an important role in applications such as autonomous exploration, disaster response, and infrastructure inspection. However, UAV VLN in complex 3D environments remains challenging. A key difficulty is the structural representation mismatch between 2D visual perception and the 3D trajectory decision space, which limits spatial reasoning. To this end, we propose SpatialFly, a geometry-guided spatial representation framework for UAV VLN. Operating on RGB observations without explicit 3D reconstruction, SpatialFly introduces a geometry-guided 2D representation alignment mechanism. Specifically, the geometric prior injection module injects global structural cues into 2D semantic tokens to provide scene-level geometric guidance. The geometry-aware reparameterization module then aligns 2D semantic tokens with 3D geometric tokens through cross-modal attention, followed by gated residual fusion to preserve semantic discrimination. Experimental results show that SpatialFly consistently outperforms state-of-the-art UAV VLN baselines across both seen and unseen environments, reducing NE by 4.03m and improving SR by 1.27% over the strongest baseline on the unseen Full split. Additional trajectory-level analysis shows that SpatialFly produces trajectories with better path alignment and smoother, more stable motion.
- Abstract(参考訳): UAVは、自律探査、災害対応、インフラ検査などの応用において重要な役割を果たしている。
しかし、複雑な3D環境でのUAV VLNは依然として困難である。
重要な問題は、空間的推論を制限する2次元視覚知覚と3次元軌跡決定空間の間の構造的表現ミスマッチである。
そこで我々は,UAV VLNのための幾何学誘導空間表現フレームワークであるSpatialFlyを提案する。
明示的な3次元再構成なしにRGB観測を行うことで、SpatialFlyは幾何学誘導2次元表示アライメント機構を導入する。
具体的には、幾何学的事前注入モジュールは、2次元意味トークンにグローバルな構造的手がかりを注入し、シーンレベルの幾何学的ガイダンスを提供する。
幾何学を意識した再パラメータ化モジュールは、2次元意味トークンと3次元幾何トークンを相互の注意を通して整列し、その後、意味的識別を保持するためにゲートされた残留融合を行う。
実験の結果、SpatialFlyは目視環境と目視環境の両方で最先端のUAV VLNベースラインを一貫して上回り、NEを4.03m減らし、SRを1.27%改善した。
追加の軌道レベル解析により、SpatialFlyはより良い経路アライメントとよりスムーズで安定した動きを持つ軌道を生成する。
関連論文リスト
- Surfsvr: 2D Surface Priors as 3D Geometric Regularizers for Sparse Voxel Reconstruction [56.51413081953813]
SurfSVRは2次元表面の先行を明示的な3次元幾何正規化器として扱う新しいスパースボクセル再構成パラダイムである。
鮮明なボクセルの再現は、視認性と幾何学的特性が著しく異なる場面で一貫して改善される。
論文 参考訳(メタデータ) (2026-08-12T11:25:31Z) - Reliability-Aware 3D Geometric Injection for Universal Person Re-identification [47.874819213762926]
本稿では,一貫性を考慮した信頼性ゲートとDual-Stream Residual Fusionによって駆動されるUniversal Monocular 3D-Enhanced ReIDフレームワークを提案する。
本手法は,クリーンドメイン上での競合性能を維持しながら,難易度,構造に敏感なシナリオを改善する。
論文 参考訳(メタデータ) (2026-07-21T08:54:25Z) - SeeSE3: Emergence of 3D Space in Vision Features [54.140615953727355]
視覚特徴空間の構造とユークリッド変換群$SE(3)$の関係について検討する。
本研究は、3次元ユークリッド空間と非常に強く相関する潜在部分空間を有する自己監督型視覚モデルについて,原理的に3次元の直接監督やアクティブエージェンシーの訓練を受けていないことを示す。
本稿では,視覚計測と局所化を潜在空間で純粋に行う「潜時空間ナビゲーション」技術について,明示的な3次元再構成の必要性を回避して提案する。
論文 参考訳(メタデータ) (2026-07-15T18:00:31Z) - EO-VGGT: Orbital Ray-Conditioned 3D Foundation Models for Satellite Multi-View Reconstruction [14.023396396575132]
EO-VGGT(英語版)は、凍結した遠近法駆動のモデルを、明示的な物理幾何学的埋め込みによる軌道観測に適応させるフレームワークである。
この結果から, 衛星3Dの高機能化には, 明確な物理形状と視野選択の最適化が不可欠であることが示唆された。
論文 参考訳(メタデータ) (2026-07-01T04:19:49Z) - GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。
視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。
我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
論文 参考訳(メタデータ) (2026-05-21T06:20:17Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳(メタデータ) (2026-05-11T12:44:26Z) - Unifying UAV Cross-View Geo-Localization via 3D Geometric Perception [51.687842983240564]
無人航空機(UAV)のクロスビューな地上局地化は、斜めのUAV画像と衛星地図との厳密な幾何学的相違により、いまだに困難である。
本稿では,3次元シーン形状を明示的にモデル化し,粗い位置認識ときめ細かなポーズ推定を統一する,幾何認識型UAV測位フレームワークを提案する。
提案手法は, 最先端のベースラインを著しく上回り, ロバストメータレベルのローカライゼーション精度を実現し, 複雑な都市環境における一般化を向上する。
論文 参考訳(メタデータ) (2026-04-02T08:08:41Z) - Dr.Occ: Depth- and Region-Guided 3D Occupancy from Surround-View Cameras for Autonomous Driving [18.345382058484166]
3Dセマンティック占有予測は自律運転知覚に不可欠である。
我々は,奥行きと地域誘導による占領予測の枠組みであるOcc博士を提案する。
我々は,Occ博士がBEVDet4Dを7.43% mIoU,3.09% IoUに改良したことを示す。
論文 参考訳(メタデータ) (2026-03-01T09:22:15Z) - Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation [34.44214123004662]
本稿では,差別化可能な意味的・空間的批判のための枠組みであるVLM3Dを提案する。
我々のコアコントリビューションは、VLMの「Yes or No log-odds」から派生した2言語による批判信号です。
VLM3Dは、VLMの豊かな言語によるセマンティクスと空間の理解を多種多様な3D生成パイプラインに注入する、原則的で一般的な経路を確立している。
論文 参考訳(メタデータ) (2025-11-18T09:05:26Z) - SPAN: Spatial-Projection Alignment for Monocular 3D Object Detection [49.12928389918159]
既存の単分子3D検出器は典型的には、切り離された予測パラダイムを通じて、3D境界ボックスの顕著な非線形回帰をテームする。
本稿では2つの主成分を持つ新しい空間射影アライメント(SPAN)を提案する。
SPANは、予測された3次元境界ボックスと接地した3次元境界ボックスの間に明らかに大域的な空間的制約を課し、それによって非結合な特性回帰による空間的ドリフトを補正する。
3D-2Dプロジェクションアライメントは、投影された3Dボックスが、画像平面上の対応する2D検出バウンディングボックス内に密に整列していることを保証する。
論文 参考訳(メタデータ) (2025-11-10T04:48:48Z) - Where, Not What: Compelling Video LLMs to Learn Geometric Causality for 3D-Grounding [0.8883733362171032]
この問題に対処するために,What-Where Representation Re-Forming (W2R2) と呼ばれる新しいトレーニングフレームワークを提案する。
提案手法は,2次元特徴を「何」識別のための意味的ビーコン,3次元特徴を「Where」ローカライゼーションのための空間的アンカーとして指定することにより,モデルの内部空間を根本的に改善する。
ScanReferとScanQAで行った実験では、W2R2の有効性が示され、ローカライゼーションの精度とロバスト性が大きく向上した。
論文 参考訳(メタデータ) (2025-10-19T22:40:18Z) - GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。
提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文 参考訳(メタデータ) (2024-05-17T07:31:20Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳(メタデータ) (2024-03-21T06:14:46Z) - NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized
Device Coordinates Space [77.6067460464962]
SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。
我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。
シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
論文 参考訳(メタデータ) (2023-09-26T02:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。