論文の概要: More Than Where You Are: Learning Semantics, Structure, and Geometry from Cross-View Localization
- arxiv url: http://arxiv.org/abs/2607.12429v1
- Date: Tue, 14 Jul 2026 07:00:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.058724
- Title: More Than Where You Are: Learning Semantics, Structure, and Geometry from Cross-View Localization
- Title（参考訳）: あなたがどこにいるかより: クロスビューのローカライゼーションから意味論、構造、幾何学を学ぶ
- Abstract要約: 極端視点変化下でのクロスビュー理解は、空間知能にとって不可欠である。
クロスビューなローカライゼーションは単に2次元マッチングやポーズ推定と見なすべきではない。
CROSSは, 3次元のアライメント, 構造認識マッチング, 仮説ランキングに基づいて構築された, クロスビュー・ローカライズ・フレームワークである。
- 参考スコア（独自算出の注目度）: 8.17466031886622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consistent cross-view understanding under extreme viewpoint changes is essential for spatial intelligence, as it enables models to recognize the same scene across extreme viewpoint gaps. Cross-view localization naturally provides a promising pathway toward this ability, as it requires a model to align ground-view imagery with geo-referenced satellite-view imagery despite drastic appearance changes to estimate camera poses. Recent visual foundation models have made this long-standing localization problem increasingly feasible by providing rich 2D representations for cross-view matching. However, we argue that cross-view localization should not be viewed merely as 2D matching or pose estimation. In this work, we revisit cross-view localization as more than pose estimation and investigate how it can help the model develop consistent cross-view understanding under extreme viewpoint changes, including stable semantics, reliable structure, and transferable geometry. We identify three key limitations of existing methods that prevent them from achieving this. They usually lack explicit 3D grounding, rely on strict point-wise matching that can weaken semantic consistency, and learn from an absolute objective that provides limited guidance for geometric reasoning. To address these limitations, we propose CROSS, a unified cross-view localization framework built upon 3D-grounded alignment, structure-aware matching, and hypothesis ranking. This formulation makes structure learning an intrinsic requirement, encourages semantic representations to remain stable, and enables the model to acquire transferable geometry. Extensive experiments on the KITTI and VIGOR datasets show that CROSS achieves state-of-the-art performance in cross-view localization. More importantly, CROSS effectively learns stable semantics, reliable structure, and transferable geometry across extremely different viewpoints.
- Abstract（参考訳）: 極端視点の変化の下での連続的な横断的な理解は、極端視点の隙間を越えて同じ場面を認識できるため、空間知能にとって不可欠である。
クロスビューのローカライゼーションは、カメラのポーズを推定するために、急激な外観の変化にもかかわらず、地上画像とジオレファレンスされた衛星画像とを整列させるモデルを必要とするため、この能力に対する有望な経路を提供する。
近年の視覚基盤モデルにより、クロスビューマッチングのためのリッチな2次元表現を提供することにより、この長期間にわたるローカライゼーション問題はますます実現可能になっている。
しかし、我々は2次元マッチングやポーズ推定だけでは、クロスビューなローカライゼーションは見なすべきではないと論じている。
本研究は、ポーズ推定以上のものとしてのクロスビューローカライゼーションを再考し、安定なセマンティクス、信頼性構造、移動可能な幾何を含む極端な視点変化の下で、モデルが一貫したクロスビュー理解を開発するのにどのように役立つかを検討する。
既存のメソッドの3つの重要な制限を特定し、これを達成するのを防ぎます。
それらは通常、明示的な3Dグラウンドを欠き、意味的一貫性を弱めるような厳密なポイントワイドマッチングに依存し、幾何学的推論の限られたガイダンスを提供する絶対的な目的から学習する。
これらの制約に対処するために,3次元アライメント,構造認識マッチング,仮説ランキングを基盤としたクロスビュー・ローカライズ・フレームワークであるCROSSを提案する。
この定式化は構造学習を本質的な要件とし、意味表現を安定に保ち、モデルが伝達可能な幾何学を得ることを可能にする。
KITTIとVIGORデータセットの大規模な実験は、CROSSがクロスビューローカライゼーションにおいて最先端のパフォーマンスを達成することを示している。
さらに重要なことは、CROSSは、非常に異なる視点で、安定な意味論、信頼できる構造、移動可能な幾何学を効果的に学習することである。
関連論文リスト
- DDMS: Discriminative Distillation of Multi-view Foundational Features into Single-view Models [17.93776710445663]
我々は,マルチビューモデルを単一ビュー推定器に再蒸留することにより,拡張された3次元一貫した基礎的特徴を得ることができることを示した。
我々のキーとなる考え方は、事前訓練された2次元基礎機能と多視点幾何学的特徴を融合させることで、多視点教師を構築することである。
提案手法は,マルチビューの一貫性と局所的な識別性を向上する,より強力な3D認識基盤機能を一貫して生成する。
論文 参考訳（メタデータ） (2026-08-24T21:38:49Z) - ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints [50.4059685962603]
ProjFormerは、明示的なプロジェクションと適応的な特徴ルーティングを通じて、幾何学的に一貫性のある2D-3Dインタラクションを強制するクロスモーダルフレームワークである。
実験によると、軽量な設計の下で、ProjFormerは、構造的完全性を改善した競争力のあるパフォーマンスを提供する。
論文 参考訳（メタデータ） (2026-08-15T08:05:48Z) - G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。
G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。
中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
論文 参考訳（メタデータ） (2026-07-04T09:32:13Z) - Beyond 2D Matching: A Unified Single-Stage Framework for Geometry-Aware Cross-View Object Geo-Localization [21.013795754583697]
クロスビューオブジェクトジオローカライゼーション(CVOGL)は、ジオタグ付き参照画像(衛星など)内のクエリビューからターゲットオブジェクトを見つけることを目的としている。
既存のアプローチは2次元の外観マッチングに大きく依存しており、幾何学的メタデータを欠いた限られたデータセットによって制約されている。
まず、22万以上の地上衛星とドローンと衛星のペアからなる大規模で高忠実なビルディングデータセットであるデータセットを紹介します。
変分同変量3D基礎モデル$をベースとした新しい一段階幾何対応ジオローカライゼーションフレームワーク(GAGeo)を提案する。
論文 参考訳（メタデータ） (2026-06-29T17:19:49Z) - VistaRef: Boosting Visual Spatial Orientation Awareness for Pointing-to-Object Detection [19.163908796279802]
自然画像における難解なジェスチャーの接地は、ARと人間とロボットのコラボレーションに不可欠である。
VistaRefは空間的指向の意識を高めるために設計されたフレームワークである。
論文 参考訳（メタデータ） (2026-06-23T12:30:04Z) - SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments [75.60795462502949]
SpaceEvoは3D空間推論のための自己進化型フレームワークである。
16の空間推論タスクカテゴリを明示的な幾何学的検証規則で定式化する。
注釈のない3Dシーンをゼロノイズのインタラクティブなオラクルに変換し、モデルコンセンサスを客観的な物理的フィードバックに置き換える。
論文 参考訳（メタデータ） (2026-04-15T17:59:12Z) - Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds [53.82500407523346]
PointINSは、幾何学的学習を通じてポイントクラウド表現を豊かにする、インスタンス指向の自己組織化フレームワークである。
PointINSは、屋内のインスタンスセグメンテーションで平均+3.5%のmAP改善、屋外のパン光学セグメンテーションで+4.1%のPQゲインを達成している。
論文 参考訳（メタデータ） (2026-03-26T08:31:06Z) - Object Pose Transformer: Unifying Unseen Object Pose Estimation [54.20344997573707]
モデルなしのオブジェクトポーズ推定を未知のインスタンスで学習することは、3Dビジョンにおける根本的な課題である。
我々のチームは、RGB入力から深度、ポイントマップ、カメラパラメータ、正規化されたオブジェクト座標を共同で予測します。
当社はカメラ非依存で、カメラ固有の知識をオンザフライで学習し、メトリックスケールリカバリのためのオプションの深度入力をサポートします。
論文 参考訳（メタデータ） (2026-03-24T16:04:16Z) - ControlVP: Interactive Geometric Refinement of AI-Generated Images with Consistent Vanishing Points [32.23473666846317]
生成した画像の点不整合を補正するユーザガイドフレームワークである制御VPを提案する。
提案手法は, 構造物の輪郭から導出される構造的ガイダンスを組み込むことにより, 事前学習拡散モデルを拡張する。
本手法は,ベースラインに匹敵する視力を維持しながら,グローバルな幾何整合性を向上させる。
論文 参考訳（メタデータ） (2025-12-08T12:38:11Z) - TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。
近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。
本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-02T02:22:20Z) - Revisiting Cross-View Localization from Image Matching [12.411420734642988]
クロスビューのローカライゼーションは、地上画像の3自由度ポーズを航空画像や衛星画像に登録することによって推定することを目的としている。
既存の方法は、直接ポーズを取るか、共有された鳥眼ビュー(BEV)空間で特徴を整列させる。
マッチングとローカライゼーションの両方を改善する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-14T14:57:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。