Fugu-MT 論文翻訳(概要): Window-to-Window BEV Representation Learning for Limited FoV Cross-View Geo-localization

論文の概要: Window-to-Window BEV Representation Learning for Limited FoV Cross-View Geo-localization

arxiv url: http://arxiv.org/abs/2407.06861v1
Date: Tue, 9 Jul 2024 13:48:28 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 17:57:30.802302
Title: Window-to-Window BEV Representation Learning for Limited FoV Cross-View Geo-localization
Title（参考訳）: ウィンドウ・ツー・ウィンドウなBEV表現学習
Authors: Lei Cheng, Teng Wang, Lingquan Meng, Changyin Sun,
Abstract要約: W2W-BEVと呼ばれる新しいWindow-to-Window BEV表現学習手法を提案する。 W2W-BEVは、未知の配向と限られたFoVの条件下で、従来の最先端手法よりも大幅に優れていることを示す。
参考スコア（独自算出の注目度）: 17.388776062997813
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cross-view geo-localization confronts significant challenges due to large perspective changes, especially when the ground-view query image has a limited field of view with unknown orientation. To bridge the cross-view domain gap, we for the first time explore to learn a BEV representation directly from the ground query image. However, the unknown orientation between ground and aerial images combined with the absence of camera parameters led to ambiguity between BEV queries and ground references. To tackle this challenge, we propose a novel Window-to-Window BEV representation learning method, termed W2W-BEV, which adaptively matches BEV queries to ground reference at window-scale. Specifically, predefined BEV embeddings and extracted ground features are segmented into a fixed number of windows, and then most similar ground window is chosen for each BEV feature based on the context-aware window matching strategy. Subsequently, the cross-attention is performed between the matched BEV and ground windows to learn the robust BEV representation. Additionally, we use ground features along with predicted depth information to initialize the BEV embeddings, helping learn more powerful BEV representations. Extensive experimental results on benchmark datasets demonstrate significant superiority of our W2W-BEV over previous state-of-the-art methods under challenging conditions of unknown orientation and limited FoV. Specifically, on the CVUSA dataset with limited Fov of 90 degree and unknown orientation, the W2W-BEV achieve an significant improvement from 47.24% to 64.73 %(+17.49%) in R@1 accuracy.
Abstract（参考訳）: 特に、地上のクエリ画像が方向不明の視野しか持たない場合に、大きな視点の変化のために、クロスビューのジオローカライゼーションは重大な課題に直面している。クロスビュー領域のギャップを埋めるため,地上クエリ画像から直接BEV表現を学習する試みを初めて行った。しかし, 地上画像と地上画像の方向が不明であることと, カメラパラメータの欠如が組み合わさって, BEVクエリと地上基準とのあいまいさにつながった。この課題に対処するために,ウィンドウスケールでBEVクエリをグラウンド参照に適応的にマッチングする,W2W-BEVと呼ばれる新しいWindow-to-Window BEV表現学習手法を提案する。具体的には、予め定義されたBEV埋め込みと抽出された接地特徴を一定数の窓に分割し、コンテキスト対応のウィンドウマッチング戦略に基づいて、各BEV特徴に対して最もよく似た接地窓を選択する。その後、一致したBEVとグラウンドウインドウの間で交差注意を行い、ロバストなBEV表現を学習する。さらに、予測深度情報とともに地上機能を使用して、BEV埋め込みを初期化し、より強力なBEV表現の学習を支援する。ベンチマークデータセットの大規模な実験結果から、未知の配向と限定されたFoV条件下での従来の最先端手法に比べて、W2W-BEVの顕著な優位性を示した。具体的には、90度のFovと未知の方向を持つCVUSAデータセットにおいて、W2W-BEVは47.24%から64.73%(+17.49%)のR@1精度で大幅に改善された。

関連論文リスト

VQ-Map: Bird's-Eye-View Map Layout Estimation in Tokenized Discrete Space via Vector Quantization [108.68014173017583]
Bird's-eye-view (BEV) マップのレイアウト推定には、エゴ車の周囲の環境要素のセマンティクスを正確に完全に理解する必要がある。本稿では,Vector Quantized-Variational AutoEncoder (VQ-VAE) に似た生成モデルを用いて,トークン化された離散空間における高レベルのBEVセマンティクスの事前知識を取得することを提案する。得られたBEVトークンには,異なるBEV要素のセマンティクスを包含したコードブックが組み込まれているため,スパースバックボーン画像特徴と得られたBEVトークンとを直接一致させることができる。
論文参考訳（メタデータ） (2024-11-03T16:09:47Z)
Improving Bird's Eye View Semantic Segmentation by Task Decomposition [42.57351039508863]
元のBEVセグメンテーションタスクを,BEVマップ再構成とRGB-BEV機能アライメントという2つの段階に分割する。我々のアプローチは、知覚と生成を異なるステップに組み合わせることの複雑さを単純化し、複雑で挑戦的なシーンを効果的に扱うためのモデルを構築します。
論文参考訳（メタデータ） (2024-04-02T13:19:45Z)
DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception [104.87876441265593]
カメラのみのBird's Eye View (BEV)は3次元空間における環境認識に大きな可能性を示した。非教師なし領域適応型BEVは、様々な未ラベル対象データから効果的に学習するが、まだ未探索である。 DA-BEVは、画像ビュー機能とBEV機能の相補性を利用して、ドメイン適応型BEV課題に対処する、最初のドメイン適応型カメラのみのBEVフレームワークである。
論文参考訳（メタデータ） (2024-01-13T04:21:24Z)
U-BEV: Height-aware Bird's-Eye-View Segmentation and Neural Map-based Relocalization [81.76044207714637]
GPS受信が不十分な場合やセンサベースのローカライゼーションが失敗する場合、インテリジェントな車両には再ローカライゼーションが不可欠である。 Bird's-Eye-View (BEV)セグメンテーションの最近の進歩は、局所的な景観の正確な推定を可能にする。本稿では,U-NetにインスパイアされたアーキテクチャであるU-BEVについて述べる。
論文参考訳（メタデータ） (2023-10-20T18:57:38Z)
FB-BEV: BEV Representation from Forward-Backward View Transformations [131.11787050205697]
本稿では,Bird-Eye-View (BEV) 表現のためのビュートランスフォーメーションモジュール (VTM) を提案する。我々は提案したモジュールをFB-BEVでインスタンス化し、nuScenesテストセット上で62.4%のNDSの最先端結果を達成する。
論文参考訳（メタデータ） (2023-08-04T10:26:55Z)
Leveraging BEV Representation for 360-degree Visual Place Recognition [14.497501941931759]
本稿では,360度視覚位置認識(VPR)におけるBird's Eye View表現の利点について検討する。本稿では,特徴抽出,特徴集約,視覚-LiDAR融合におけるBEV表現を利用した新しいネットワークアーキテクチャを提案する。提案手法は,2つのデータセットのアブレーションおよび比較研究において評価される。
論文参考訳（メタデータ） (2023-05-23T08:29:42Z)
Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe [115.31507979199564]
鳥眼視(BEV)における知覚タスクの強力な表現の学習は、産業と学界の両方から注目されつつある。センサーの構成が複雑化するにつれて、異なるセンサーからの複数のソース情報の統合と、統一されたビューにおける特徴の表現が重要になる。 BEV知覚の中核的な問題は、(a)視点からBEVへの視点変換を通して失われた3D情報を再構成する方法、(b)BEVグリッドにおける基底真理アノテーションの取得方法、(d)センサー構成が異なるシナリオでアルゴリズムを適応・一般化する方法にある。
論文参考訳（メタデータ） (2022-09-12T15:29:13Z)
GitNet: Geometric Prior-based Transformation for Birds-Eye-View Segmentation [105.19949897812494]
Birds-eye-view (BEV) セマンティックセマンティックセグメンテーションは自動運転に不可欠である。本稿では,GitNetという新しい2段階のGeometry Preside-based Transformationフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-16T06:46:45Z)
Bird's-Eye-View Panoptic Segmentation Using Monocular Frontal View Images [4.449481309681663]
本研究では,Bird's-Eye-View (BEV) マップにおいて,高密度パノプティックセグメンテーションマップを直接予測するエンド・ツー・エンドの学習手法を提案する。私たちのアーキテクチャはトップダウンパラダイムに従っており、新しい高密度トランスモジュールを組み込んでいます。我々は、FV-BEV変換の感度を数学的に定式化し、BEV空間のピクセルをインテリジェントに重み付けすることができる。
論文参考訳（メタデータ） (2021-08-06T17:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。