論文の概要: NeuraLoc: Visual Localization in Neural Implicit Map with Dual Complementary Features
- arxiv url: http://arxiv.org/abs/2503.06117v1
- Date: Sat, 08 Mar 2025 08:04:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:49:25.446556
- Title: NeuraLoc: Visual Localization in Neural Implicit Map with Dual Complementary Features
- Title（参考訳）: NeuraLoc: 二重補足機能を持つニューラルインシシットマップにおける視覚的位置決め
- Authors: Hongjia Zhai, Boming Zhao, Hai Li, Xiaokun Pan, Yijia He, Zhaopeng Cui, Hujun Bao, Guofeng Zhang,
- Abstract要約: 本稿では,補完的な特徴を持つニューラル暗黙マップに基づく,効率的で斬新な視覚的局所化手法を提案する。
具体的には、幾何学的制約を強制し、ストレージ要件を小さくするために、3Dキーポイント記述子フィールドを暗黙的に学習する。
記述子の意味的あいまいさにさらに対処するために、追加の意味的文脈的特徴体を導入する。
- 参考スコア（独自算出の注目度）: 50.212836834889146
- License:
- Abstract: Recently, neural radiance fields (NeRF) have gained significant attention in the field of visual localization. However, existing NeRF-based approaches either lack geometric constraints or require extensive storage for feature matching, limiting their practical applications. To address these challenges, we propose an efficient and novel visual localization approach based on the neural implicit map with complementary features. Specifically, to enforce geometric constraints and reduce storage requirements, we implicitly learn a 3D keypoint descriptor field, avoiding the need to explicitly store point-wise features. To further address the semantic ambiguity of descriptors, we introduce additional semantic contextual feature fields, which enhance the quality and reliability of 2D-3D correspondences. Besides, we propose descriptor similarity distribution alignment to minimize the domain gap between 2D and 3D feature spaces during matching. Finally, we construct the matching graph using both complementary descriptors and contextual features to establish accurate 2D-3D correspondences for 6-DoF pose estimation. Compared with the recent NeRF-based approaches, our method achieves a 3$\times$ faster training speed and a 45$\times$ reduction in model storage. Extensive experiments on two widely used datasets demonstrate that our approach outperforms or is highly competitive with other state-of-the-art NeRF-based visual localization methods. Project page: \href{https://zju3dv.github.io/neuraloc}{https://zju3dv.github.io/neuraloc}
- Abstract（参考訳）: 近年,脳神経放射野 (NeRF) が視覚局在の分野で注目されている。
しかし、既存のNeRFベースのアプローチは幾何的制約を欠いているか、機能マッチングのために広範囲のストレージを必要とするか、実用的応用を制限する。
これらの課題に対処するために、補完的な特徴を持つニューラル暗黙マップに基づく、効率的で斬新な視覚的位置決め手法を提案する。
具体的には、幾何学的制約を強制し、ストレージ要求を減らすために、3Dキーポイント記述子フィールドを暗黙的に学習し、ポイントワイズ機能を明示的に格納する必要がない。
記述子の意味的あいまいさにさらに対処するために,2D-3D対応の質と信頼性を高める意味的特徴フィールドを導入する。
さらに,マッチング中の2次元特徴空間と3次元特徴空間の領域ギャップを最小限に抑えるための記述子類似性分布アライメントを提案する。
最後に、6-DoFポーズ推定のための正確な2D-3D対応性を確立するために、補完的記述子と文脈的特徴の両方を用いてマッチンググラフを構築する。
近年のNeRFベースのアプローチと比較すると,トレーニング速度が3$\times$速く,モデルストレージの45$\times$削減を実現している。
広範に使われている2つのデータセットに対する大規模な実験は、我々のアプローチが他の最先端のNeRFベースの視覚的ローカライゼーション手法よりも優れているか、高い競争力を持っていることを示している。
プロジェクトページ: \href{https://zju3dv.github.io/neuraloc}{https://zju3dv.github.io/neuraloc}
関連論文リスト
- SplatLoc: 3D Gaussian Splatting-based Visual Localization for Augmented Reality [50.179377002092416]
より少ないパラメータで高品質なレンダリングが可能な効率的なビジュアルローカライズ手法を提案する。
提案手法は,最先端の暗黙的視覚的ローカライゼーションアプローチに対して,より優れた,あるいは同等なレンダリングとローカライゼーション性能を実現する。
論文 参考訳（メタデータ） (2024-09-21T08:46:16Z) - Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。
新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。
提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
論文 参考訳（メタデータ） (2024-03-15T13:40:37Z) - Improved Scene Landmark Detection for Camera Localization [11.56648898250606]
シーンランドマーク検出(SLD)に基づく手法が近年提案されている。
畳み込みニューラルネットワーク(CNN)をトレーニングして、所定の、健全でシーン固有の3Dポイントやランドマークを検出する。
トレーニング中はモデル容量とノイズラベルが不足していたため,精度の差がみられた。
論文 参考訳（メタデータ） (2024-01-31T18:59:12Z) - Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。
3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。
この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
論文 参考訳（メタデータ） (2023-12-06T00:46:30Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳（メタデータ） (2023-11-29T20:30:18Z) - DGC-GNN: Leveraging Geometry and Color Cues for Visual Descriptor-Free 2D-3D Matching [39.461400537109895]
画像中の2Dキーポイントとシーンのスパースな3Dポイントクラウドとを視覚ディスクリプタを必要とせずにマッチングすることは、関心の高まりを招いている。
DGC-GNNは,鍵点を表すために幾何学的および色彩的キューを利用する新しいアルゴリズムであり,マッチング精度が向上する。
我々は、DGC-GNNを屋内と屋外の両方のデータセットで評価し、最先端のビジュアルディスクリプタフリーアルゴリズムの精度を2倍にするだけでなく、ディスクリプタベースとディスクリプタフリー手法のパフォーマンスギャップを大幅に狭めることを示した。
論文 参考訳（メタデータ） (2023-06-21T20:21:15Z) - NeRF-Loc: Visual Localization with Conditional Neural Radiance Field [25.319374695362267]
暗黙の3次元記述子と変換器を用いた2次元画像との直接マッチングに基づく新しい視覚的再局在法を提案する。
実験により,本手法は,複数のベンチマークにおいて,他の学習手法よりも高い局所化精度を実現することが示された。
論文 参考訳（メタデータ） (2023-04-17T03:53:02Z) - CheckerPose: Progressive Dense Keypoint Localization for Object Pose
Estimation with Graph Neural Network [66.24726878647543]
単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。
近年の研究では、高密度対応型解の大きな可能性を示している。
そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-29T17:30:53Z) - A Unified BEV Model for Joint Learning of 3D Local Features and Overlap
Estimation [12.499361832561634]
本稿では,3次元局所特徴の同時学習と重なり推定のための統合鳥眼ビュー(BEV)モデルを提案する。
提案手法は,特に重複の少ないシーンにおいて,重複予測における既存手法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-28T12:01:16Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳（メタデータ） (2022-02-16T21:24:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。