論文の概要: FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization
- arxiv url: http://arxiv.org/abs/2408.12037v1
- Date: Wed, 21 Aug 2024 23:42:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 15:43:39.994812
- Title: FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization
- Title（参考訳）: FUSELOC: ビジュアルローカライゼーションにおける2D-3Dマッチングの曖昧化のためのグローバルおよびローカルディスクリプタの融合
- Authors: Son Tung Nguyen, Alejandro Fontan, Michael Milford, Tobias Fischer,
- Abstract要約: 直接2D-3Dマッチングアルゴリズムでは、メモリが大幅に削減されるが、より大きくあいまいな検索空間のために精度が低下する。
本研究では,2次元3次元探索フレームワーク内の重み付き平均演算子を用いて局所的およびグローバルな記述子を融合させることにより,この曖昧さに対処する。
ローカルのみのシステムの精度を常に改善し、メモリ要求を半減させながら階層的な手法に近い性能を達成する。
- 参考スコア（独自算出の注目度）: 57.59857784298536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hierarchical methods represent state-of-the-art visual localization, optimizing search efficiency by using global descriptors to focus on relevant map regions. However, this state-of-the-art performance comes at the cost of substantial memory requirements, as all database images must be stored for feature matching. In contrast, direct 2D-3D matching algorithms require significantly less memory but suffer from lower accuracy due to the larger and more ambiguous search space. We address this ambiguity by fusing local and global descriptors using a weighted average operator within a 2D-3D search framework. This fusion rearranges the local descriptor space such that geographically nearby local descriptors are closer in the feature space according to the global descriptors. Therefore, the number of irrelevant competing descriptors decreases, specifically if they are geographically distant, thereby increasing the likelihood of correctly matching a query descriptor. We consistently improve the accuracy over local-only systems and achieve performance close to hierarchical methods while halving memory requirements. Extensive experiments using various state-of-the-art local and global descriptors across four different datasets demonstrate the effectiveness of our approach. For the first time, our approach enables direct matching algorithms to benefit from global descriptors while maintaining memory efficiency. The code for this paper will be published at \href{https://github.com/sontung/descriptor-disambiguation}{github.com/sontung/descriptor-disambiguation}.
- Abstract（参考訳）: 階層的手法は最先端のビジュアルローカライゼーションを表現し、グローバルな記述子を用いて検索効率を最適化し、関連する地図領域にフォーカスする。
しかし、この最先端のパフォーマンスは、機能マッチングのためにすべてのデータベースイメージを格納する必要があるため、かなりのメモリ要件のコストがかかる。
対照的に、直接2D-3Dマッチングアルゴリズムではメモリが大幅に削減されるが、より大きくあいまいな検索空間のために精度が低下する。
本研究では,2次元3次元探索フレームワーク内の重み付き平均演算子を用いて局所的およびグローバルな記述子を融合させることにより,この曖昧さに対処する。
この融合は局所記述子空間を、地理的に近傍の局所記述子は、グローバル記述子に従って特徴空間に近づくように再配置する。
したがって、地理的に離れた場合、関係のない競合する記述子の数は減少し、クエリ記述子を正しくマッチングする可能性が高まる。
ローカルのみのシステムの精度を常に改善し、メモリ要求を半減させながら階層的な手法に近い性能を達成する。
4つの異なるデータセットにまたがって、最先端のローカルおよびグローバルな記述子を用いた大規模な実験により、我々のアプローチの有効性が示された。
提案手法により,メモリ効率を維持しつつ,グローバルな記述子による直接マッチングアルゴリズムの活用が可能となった。
本論文のコードは \href{https://github.com/sontung/descriptor-disambiguation}{github.com/sontung/descriptor-disambiguation} で公開される。
関連論文リスト
- Coupled Laplacian Eigenmaps for Locally-Aware 3D Rigid Point Cloud Matching [0.0]
局所構造を考慮したグラフラプラシアン固有写像に基づく新しい手法を提案する。
ラプラシアン固有写像の順序と符号のあいまいさに対処するために、結合ラプラシアンと呼ばれる新しい作用素を導入する。
これらの高次元空間間の類似性は、形状に一致するような局所的な意味のあるスコアを与えることを示す。
論文 参考訳（メタデータ） (2024-02-27T10:10:12Z) - Improved Scene Landmark Detection for Camera Localization [11.56648898250606]
シーンランドマーク検出(SLD)に基づく手法が近年提案されている。
畳み込みニューラルネットワーク(CNN)をトレーニングして、所定の、健全でシーン固有の3Dポイントやランドマークを検出する。
トレーニング中はモデル容量とノイズラベルが不足していたため,精度の差がみられた。
論文 参考訳（メタデータ） (2024-01-31T18:59:12Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳（メタデータ） (2023-11-29T20:30:18Z) - Yes, we CANN: Constrained Approximate Nearest Neighbors for local
feature-based visual localization [2.915868985330569]
Constrained Approximate Nearest Neighbors (CANN) は、局所的特徴のみを用いて、幾何学と外観空間の両方にわたって k-アネレスト近傍の合同解である。
提案手法は,現在最先端のグローバルな特徴量検索と,局所的な特徴量集計手法を用いたアプローチの両方に優れる。
論文 参考訳（メタデータ） (2023-06-15T10:12:10Z) - LoGG3D-Net: Locally Guided Global Descriptor Learning for 3D Place
Recognition [31.105598103211825]
追加のトレーニング信号(局所的整合性損失)が、リビジョン間で一貫性のある局所的特徴の学習にネットワークを導くことができることを示す。
私たちは、LoGG3D-Netと呼ばれるエンドツーエンドのトレーニング可能なアーキテクチャでアプローチを定式化します。
論文 参考訳（メタデータ） (2021-09-17T03:32:43Z) - On the Limits of Pseudo Ground Truth in Visual Camera Re-localisation [83.29404673257328]
再ローカライゼーションベンチマークは、各メソッドが参照アルゴリズムの結果をいかにうまく再現するかを測定する。
このことは、参照アルゴリズムの選択がある種の再ローカライゼーション手法を好むかどうかを問うものである。
本稿では、広く使われている2つの再ローカライゼーションデータセットを分析し、参照アルゴリズムの選択によって評価結果が実際に異なることを示す。
論文 参考訳（メタデータ） (2021-09-01T12:01:08Z) - Efficient Regional Memory Network for Video Object Segmentation [56.587541750729045]
半教師付きVOS(Regional Memory Network, RMNet)のための新しいローカル-ローカルマッチングソリューションを提案する。
提案するrmnetは、メモリとクエリフレームの両方における類似オブジェクトのあいまいさを効果的に緩和する。
実験結果から,提案したRMNetは,DAVISおよびYouTube-VOSデータセットの最先端手法に対して良好に動作することが示された。
論文 参考訳（メタデータ） (2021-03-24T02:08:46Z) - Leveraging Local and Global Descriptors in Parallel to Search
Correspondences for Visual Localization [6.326242067588544]
クエリローカル機能に最も近い候補を取得するための新しい並列検索フレームワークを提案する。
また、ローカル記述子を用いて、クエリローカル特徴の近傍候補を取得するためにランダムツリー構造を構築する。
論文 参考訳（メタデータ） (2020-09-23T01:49:03Z) - DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF
Relocalization [56.15308829924527]
生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。
3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。
各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
論文 参考訳（メタデータ） (2020-07-17T20:21:22Z) - D2D: Keypoint Extraction with Describe to Detect Approach [48.0325745125635]
本稿では,ディスクリプタ空間内の情報を利用してキーポイント位置を提案する手法を提案する。
本稿では,まずキーポイント位置を記述し,次に検出することで,この過程を逆転する手法を提案する。
論文 参考訳（メタデータ） (2020-05-27T19:27:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。