論文の概要: CVLNet: Cross-View Semantic Correspondence Learning for Video-based
Camera Localization
- arxiv url: http://arxiv.org/abs/2208.03660v1
- Date: Sun, 7 Aug 2022 07:35:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 13:19:11.782641
- Title: CVLNet: Cross-View Semantic Correspondence Learning for Video-based
Camera Localization
- Title(参考訳): CVLNet:ビデオカメラローカライゼーションのためのクロスビューセマンティック対応学習
- Authors: Yujiao Shi, Xin Yu, Shan Wang, Hongdong Li
- Abstract要約: 本稿では,クロスビューカメラのローカライゼーション問題に対処する。
本稿では、類似性マッチングの前に、問合せカメラの衛星画像に対する相対変位を推定する。
実験は、単一の画像に基づく位置決めよりもビデオベースの位置決めの有効性を実証した。
- 参考スコア(独自算出の注目度): 89.69214577915959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper tackles the problem of Cross-view Video-based camera Localization
(CVL). The task is to localize a query camera by leveraging information from
its past observations, i.e., a continuous sequence of images observed at
previous time stamps, and matching them to a large overhead-view satellite
image. The critical challenge of this task is to learn a powerful global
feature descriptor for the sequential ground-view images while considering its
domain alignment with reference satellite images. For this purpose, we
introduce CVLNet, which first projects the sequential ground-view images into
an overhead view by exploring the ground-and-overhead geometric correspondences
and then leverages the photo consistency among the projected images to form a
global representation. In this way, the cross-view domain differences are
bridged. Since the reference satellite images are usually pre-cropped and
regularly sampled, there is always a misalignment between the query camera
location and its matching satellite image center. Motivated by this, we propose
estimating the query camera's relative displacement to a satellite image before
similarity matching. In this displacement estimation process, we also consider
the uncertainty of the camera location. For example, a camera is unlikely to be
on top of trees. To evaluate the performance of the proposed method, we collect
satellite images from Google Map for the KITTI dataset and construct a new
cross-view video-based localization benchmark dataset, KITTI-CVL. Extensive
experiments have demonstrated the effectiveness of video-based localization
over single image-based localization and the superiority of each proposed
module over other alternatives.
- Abstract(参考訳): 本稿では,クロスビュー映像ベースのカメラローカライゼーション(CVL)の問題に取り組む。
タスクは、過去の観測情報、すなわち、過去のタイムスタンプで観測された画像の連続配列を活用して、それらを大きなオーバヘッドビュー衛星画像とマッチングすることで、クエリカメラをローカライズすることである。
この課題の重要な課題は、参照衛星画像とのドメインアライメントを考慮して、シーケンシャルな地上画像の強力なグローバルな特徴記述子を学習することである。
この目的のためにCVLNetを導入し、まず、地上とオーバーヘッドの幾何対応を探索し、次に投影された画像間の光の一貫性を利用してグローバルな表現を形成する。
このように、クロスビュードメインの違いは橋渡しされる。
通常、参照衛星画像は予めスキャンされ、定期的にサンプリングされるため、クエリカメラの位置と衛星画像センターとの間には常に不一致が生じている。
そこで本研究では,類似性マッチングに先立って,問合せカメラの衛星画像への相対変位を推定する手法を提案する。
この変位推定プロセスでは、カメラの位置の不確実性も考慮する。
例えば、カメラが木の上にいる可能性は低い。
提案手法の性能を評価するため,KITTIデータセット用のGoogle Mapから衛星画像を収集し,新しいクロスビュービデオベースローカライゼーションベンチマークデータセットであるKITTI-CVLを構築した。
広範にわたる実験により、単一の画像に基づくローカライズに対するビデオベースのローカライズの有効性と、提案された各モジュールが他の代替モジュールよりも優れていることが示されている。
関連論文リスト
- A Semantic Segmentation-guided Approach for Ground-to-Aerial Image Matching [30.324252605889356]
本研究は,GPSデータを使わずに,問合せ地上画像と対応する衛星画像とをマッチングする問題に対処する。
これは地上画像と衛星画像の特徴を比較することで行われ、3ストリームのシームズ様のネットワークを通じて、対応する衛星のセグメンテーションマスクを革新的に活用する。
この新しさは、衛星画像とセマンティックセグメンテーションマスクの融合にあり、モデルが有用な特徴を抽出し、画像の重要な部分に集中できるようにすることを目的としている。
論文 参考訳(メタデータ) (2024-04-17T12:13:18Z) - Location-Aware Self-Supervised Transformers [74.76585889813207]
画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。
参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。
実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
論文 参考訳(メタデータ) (2022-12-05T16:24:29Z) - Cross-View Image Sequence Geo-localization [6.555961698070275]
クロスビュージオローカライゼーションは,クエリ基底画像のGPS位置を推定することを目的としている。
最近のアプローチでは、パノラマ画像を用いて視界範囲を拡大している。
本研究では、フィールド-オフ-ビューの限られた画像のシーケンスで動作する、最初のクロスビューなジオローカライズ手法を提案する。
論文 参考訳(メタデータ) (2022-10-25T19:46:18Z) - Visual Cross-View Metric Localization with Dense Uncertainty Estimates [11.76638109321532]
本研究は、屋外ロボティクスにおける視覚的クロスビューメトリックローカライゼーションに対処する。
地上レベルのカラー画像と局地的な環境を含む衛星パッチが与えられた場合、衛星パッチ内の地上カメラの位置を特定することが課題である。
我々は、より高密度な衛星記述子、ボトルネックにおける類似性マッチング、およびマルチモーダルなローカライゼーションの曖昧さを捉えるための出力としての密度空間分布を備えた新しいネットワークアーキテクチャを考案した。
論文 参考訳(メタデータ) (2022-08-17T20:12:23Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳(メタデータ) (2022-07-27T13:16:39Z) - Beyond Cross-view Image Retrieval: Highly Accurate Vehicle Localization
Using Satellite Image [91.29546868637911]
本稿では,地上画像と架空衛星地図とをマッチングすることにより,車載カメラのローカライゼーションの問題に対処する。
鍵となる考え方は、タスクをポーズ推定として定式化し、ニューラルネットベースの最適化によってそれを解くことである。
標準自動運転車のローカライゼーションデータセットの実験により,提案手法の優位性が確認された。
論文 参考訳(メタデータ) (2022-04-10T19:16:58Z) - Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image
Matching [102.39635336450262]
地上で取得したクエリ画像とジオタグ付き衛星画像の大規模データベースとをマッチングすることにより、地上から衛星画像のジオローカライズの問題に対処する。
我々の新しい手法は、衛星画像のピクセルサイズの精度まで、クエリー画像のきめ細かい位置を達成できる。
論文 参考訳(メタデータ) (2022-03-26T20:10:38Z) - Where am I looking at? Joint Location and Orientation Estimation by
Cross-View Matching [95.64702426906466]
ジオタグ付き空中画像の大規模データベースを考えると、クロスビューなジオローカライゼーションは問題となる。
地上画像と空中画像の向きを知ることは、これらの2つのビュー間のあいまいさを著しく軽減することができる。
局所化時の横方向のアライメントを推定する動的類似マッチングネットワークを設計する。
論文 参考訳(メタデータ) (2020-05-08T05:21:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。