論文の概要: The NeRFect Match: Exploring NeRF Features for Visual Localization
- arxiv url: http://arxiv.org/abs/2403.09577v1
- Date: Thu, 14 Mar 2024 17:11:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 19:38:09.152705
- Title: The NeRFect Match: Exploring NeRF Features for Visual Localization
- Title(参考訳): NeRFect Match:ビジュアルローカライゼーションのためのNeRF機能探索
- Authors: Qunjie Zhou, Maxim Maximov, Or Litany, Laura Leal-Taixé,
- Abstract要約: 視覚的位置決めのためのシーン表現としてNeRF(Neural Radiance Fields)を提案する。
局所化のための正確な2D-3Dマッチングを確立する際に、NeRFの内部特徴の可能性を探ることで、認識された利点を拡大する。
ビュー合成により学習したNeRFの内部知識を活かした2D-3Dマッチング機能であるNeRFMatchを導入する。
- 参考スコア(独自算出の注目度): 45.42725089658268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose the use of Neural Radiance Fields (NeRF) as a scene representation for visual localization. Recently, NeRF has been employed to enhance pose regression and scene coordinate regression models by augmenting the training database, providing auxiliary supervision through rendered images, or serving as an iterative refinement module. We extend its recognized advantages -- its ability to provide a compact scene representation with realistic appearances and accurate geometry -- by exploring the potential of NeRF's internal features in establishing precise 2D-3D matches for localization. To this end, we conduct a comprehensive examination of NeRF's implicit knowledge, acquired through view synthesis, for matching under various conditions. This includes exploring different matching network architectures, extracting encoder features at multiple layers, and varying training configurations. Significantly, we introduce NeRFMatch, an advanced 2D-3D matching function that capitalizes on the internal knowledge of NeRF learned via view synthesis. Our evaluation of NeRFMatch on standard localization benchmarks, within a structure-based pipeline, sets a new state-of-the-art for localization performance on Cambridge Landmarks.
- Abstract(参考訳): 本研究では,視覚的局所化のためのシーン表現としてNeRF(Neural Radiance Fields)を提案する。
最近、NeRFは、トレーニングデータベースを拡張し、レンダリングされた画像を通して補助的な監視を提供し、反復的なリファインメントモジュールとして機能することで、ポーズ回帰とシーン座標回帰モデルを強化するために使用されている。
我々は、NeRFの内部特徴の可能性を探求し、正確な2D-3Dマッチングをローカライゼーションのために確立することで、その認識された利点、すなわち、現実的な外観と正確な幾何学を備えたコンパクトなシーン表現を提供する能力を拡張した。
この目的のために、様々な条件下でのマッチングのために、ビュー合成によって得られたNeRFの暗黙の知識を網羅的に検証する。
これには、異なるマッチングネットワークアーキテクチャの探索、複数のレイヤでのエンコーダ機能の抽出、さまざまなトレーニング設定が含まれる。
ビュー合成により学習したNeRFの内部知識を活かした2D-3Dマッチング機能であるNeRFMatchを導入する。
構造に基づくパイプライン内の標準的なローカライゼーションベンチマークにおけるNeRFMatchの評価は、ケンブリッジ・ランドマークスにおけるローカライゼーション性能の新たな最先端を規定する。
関連論文リスト
- Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance
Fields [24.99410489251996]
ニューラルレイディアンス場(NeRF)は3Dシーンの高忠実度ビューに可能性を示した。
NeRFの標準トレーニングパラダイムは、トレーニングセットの各画像に等しい重要性を前提としている。
本稿では、現在のトレーニングパラダイムの意義を詳しく調べ、より優れたレンダリング品質のために再設計する。
論文 参考訳(メタデータ) (2024-01-29T13:23:34Z) - PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。
次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。
我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
論文 参考訳(メタデータ) (2023-05-29T13:30:26Z) - Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。
我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
論文 参考訳(メタデータ) (2023-05-22T09:08:46Z) - LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
本稿では,LiDARセンサのための新しいビュー合成手法を提案する。
スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。
ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
論文 参考訳(メタデータ) (2023-04-20T15:44:37Z) - NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex
Real-World Scenes [80.59831861186227]
本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。
我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。
他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
論文 参考訳(メタデータ) (2022-09-19T06:03:17Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。