論文の概要: CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization

• arxiv url: http://arxiv.org/abs/2208.03660v1
• Date: Sun, 7 Aug 2022 07:35:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:19:11.782641
• Title: CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization
• Title（参考訳）: CVLNet:ビデオカメラローカライゼーションのためのクロスビューセマンティック対応学習
• Authors: Yujiao Shi, Xin Yu, Shan Wang, Hongdong Li
• Abstract要約: 本稿では,クロスビューカメラのローカライゼーション問題に対処する。 本稿では、類似性マッチングの前に、問合せカメラの衛星画像に対する相対変位を推定する。 実験は、単一の画像に基づく位置決めよりもビデオベースの位置決めの有効性を実証した。
• 参考スコア（独自算出の注目度）: 89.69214577915959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tackles the problem of Cross-view Video-based camera Localization (CVL). The task is to localize a query camera by leveraging information from its past observations, i.e., a continuous sequence of images observed at previous time stamps, and matching them to a large overhead-view satellite image. The critical challenge of this task is to learn a powerful global feature descriptor for the sequential ground-view images while considering its domain alignment with reference satellite images. For this purpose, we introduce CVLNet, which first projects the sequential ground-view images into an overhead view by exploring the ground-and-overhead geometric correspondences and then leverages the photo consistency among the projected images to form a global representation. In this way, the cross-view domain differences are bridged. Since the reference satellite images are usually pre-cropped and regularly sampled, there is always a misalignment between the query camera location and its matching satellite image center. Motivated by this, we propose estimating the query camera's relative displacement to a satellite image before similarity matching. In this displacement estimation process, we also consider the uncertainty of the camera location. For example, a camera is unlikely to be on top of trees. To evaluate the performance of the proposed method, we collect satellite images from Google Map for the KITTI dataset and construct a new cross-view video-based localization benchmark dataset, KITTI-CVL. Extensive experiments have demonstrated the effectiveness of video-based localization over single image-based localization and the superiority of each proposed module over other alternatives.
• Abstract（参考訳）: 本稿では,クロスビュー映像ベースのカメラローカライゼーション(CVL)の問題に取り組む。 タスクは、過去の観測情報、すなわち、過去のタイムスタンプで観測された画像の連続配列を活用して、それらを大きなオーバヘッドビュー衛星画像とマッチングすることで、クエリカメラをローカライズすることである。 この課題の重要な課題は、参照衛星画像とのドメインアライメントを考慮して、シーケンシャルな地上画像の強力なグローバルな特徴記述子を学習することである。 この目的のためにCVLNetを導入し、まず、地上とオーバーヘッドの幾何対応を探索し、次に投影された画像間の光の一貫性を利用してグローバルな表現を形成する。 このように、クロスビュードメインの違いは橋渡しされる。 通常、参照衛星画像は予めスキャンされ、定期的にサンプリングされるため、クエリカメラの位置と衛星画像センターとの間には常に不一致が生じている。 そこで本研究では,類似性マッチングに先立って,問合せカメラの衛星画像への相対変位を推定する手法を提案する。 この変位推定プロセスでは、カメラの位置の不確実性も考慮する。 例えば、カメラが木の上にいる可能性は低い。 提案手法の性能を評価するため,KITTIデータセット用のGoogle Mapから衛星画像を収集し,新しいクロスビュービデオベースローカライゼーションベンチマークデータセットであるKITTI-CVLを構築した。 広範にわたる実験により、単一の画像に基づくローカライズに対するビデオベースのローカライズの有効性と、提案された各モジュールが他の代替モジュールよりも優れていることが示されている。

関連論文リスト

• Weakly-supervised Camera Localization by Ground-to-satellite Image Registration [52.54992898069471]
  本稿では,地対衛星画像登録のための弱教師付き学習戦略を提案する。 地上画像ごとに正の衛星画像と負の衛星画像を導き出す。 また,クロスビュー画像の相対回転推定のための自己超越戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-10T12:57:16Z)
• A Semantic Segmentation-guided Approach for Ground-to-Aerial Image Matching [30.324252605889356]
  本研究は,GPSデータを使わずに,問合せ地上画像と対応する衛星画像とをマッチングする問題に対処する。 これは地上画像と衛星画像の特徴を比較することで行われ、3ストリームのシームズ様のネットワークを通じて、対応する衛星のセグメンテーションマスクを革新的に活用する。 この新しさは、衛星画像とセマンティックセグメンテーションマスクの融合にあり、モデルが有用な特徴を抽出し、画像の重要な部分に集中できるようにすることを目的としている。
  論文  参考訳（メタデータ） (2024-04-17T12:13:18Z)
• Cross-View Image Sequence Geo-localization [6.555961698070275]
  クロスビュージオローカライゼーションは,クエリ基底画像のGPS位置を推定することを目的としている。 最近のアプローチでは、パノラマ画像を用いて視界範囲を拡大している。 本研究では、フィールド-オフ-ビューの限られた画像のシーケンスで動作する、最初のクロスビューなジオローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T19:46:18Z)
• Visual Cross-View Metric Localization with Dense Uncertainty Estimates [11.76638109321532]
  本研究は、屋外ロボティクスにおける視覚的クロスビューメトリックローカライゼーションに対処する。 地上レベルのカラー画像と局地的な環境を含む衛星パッチが与えられた場合、衛星パッチ内の地上カメラの位置を特定することが課題である。 我々は、より高密度な衛星記述子、ボトルネックにおける類似性マッチング、およびマルチモーダルなローカライゼーションの曖昧さを捉えるための出力としての密度空間分布を備えた新しいネットワークアーキテクチャを考案した。
  論文  参考訳（メタデータ） (2022-08-17T20:12:23Z)
• Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
  本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。 本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
  論文  参考訳（メタデータ） (2022-07-27T13:16:39Z)
• Beyond Cross-view Image Retrieval: Highly Accurate Vehicle Localization Using Satellite Image [91.29546868637911]
  本稿では,地上画像と架空衛星地図とをマッチングすることにより,車載カメラのローカライゼーションの問題に対処する。 鍵となる考え方は、タスクをポーズ推定として定式化し、ニューラルネットベースの最適化によってそれを解くことである。 標準自動運転車のローカライゼーションデータセットの実験により,提案手法の優位性が確認された。
  論文  参考訳（メタデータ） (2022-04-10T19:16:58Z)
• Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image Matching [102.39635336450262]
  地上で取得したクエリ画像とジオタグ付き衛星画像の大規模データベースとをマッチングすることにより、地上から衛星画像のジオローカライズの問題に対処する。 我々の新しい手法は、衛星画像のピクセルサイズの精度まで、クエリー画像のきめ細かい位置を達成できる。
  論文  参考訳（メタデータ） (2022-03-26T20:10:38Z)
• Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching [95.64702426906466]
  ジオタグ付き空中画像の大規模データベースを考えると、クロスビューなジオローカライゼーションは問題となる。 地上画像と空中画像の向きを知ることは、これらの2つのビュー間のあいまいさを著しく軽減することができる。 局所化時の横方向のアライメントを推定する動的類似マッチングネットワークを設計する。
  論文  参考訳（メタデータ） (2020-05-08T05:21:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。