論文の概要: The NeRFect Match: Exploring NeRF Features for Visual Localization

• arxiv url: http://arxiv.org/abs/2403.09577v2
• Date: Wed, 21 Aug 2024 10:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 22:44:58.255244
• Title: The NeRFect Match: Exploring NeRF Features for Visual Localization
• Title（参考訳）: NeRFect Match:ビジュアルローカライゼーションのためのNeRF機能探索
• Authors: Qunjie Zhou, Maxim Maximov, Or Litany, Laura Leal-Taixé,
• Abstract要約: 視覚的位置決めのためのシーン表現としてNeRF(Neural Radiance Fields)を提案する。 局所化のための正確な2D-3Dマッチングを確立する際に、NeRFの内部特徴の可能性を探ることで、認識された利点を拡大する。 ビュー合成により学習したNeRFの内部知識を活かした2D-3Dマッチング機能であるNeRFMatchを導入する。
• 参考スコア（独自算出の注目度）: 45.42725089658268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose the use of Neural Radiance Fields (NeRF) as a scene representation for visual localization. Recently, NeRF has been employed to enhance pose regression and scene coordinate regression models by augmenting the training database, providing auxiliary supervision through rendered images, or serving as an iterative refinement module. We extend its recognized advantages -- its ability to provide a compact scene representation with realistic appearances and accurate geometry -- by exploring the potential of NeRF's internal features in establishing precise 2D-3D matches for localization. To this end, we conduct a comprehensive examination of NeRF's implicit knowledge, acquired through view synthesis, for matching under various conditions. This includes exploring different matching network architectures, extracting encoder features at multiple layers, and varying training configurations. Significantly, we introduce NeRFMatch, an advanced 2D-3D matching function that capitalizes on the internal knowledge of NeRF learned via view synthesis. Our evaluation of NeRFMatch on standard localization benchmarks, within a structure-based pipeline, sets a new state-of-the-art for localization performance on Cambridge Landmarks.
• Abstract（参考訳）: 本研究では,視覚的局所化のためのシーン表現としてNeRF(Neural Radiance Fields)を提案する。 最近、NeRFは、トレーニングデータベースを拡張し、レンダリングされた画像を通して補助的な監視を提供し、反復的なリファインメントモジュールとして機能することで、ポーズ回帰とシーン座標回帰モデルを強化するために使用されている。 我々は、NeRFの内部特徴の可能性を探求し、正確な2D-3Dマッチングをローカライゼーションのために確立することで、その認識された利点、すなわち、現実的な外観と正確な幾何学を備えたコンパクトなシーン表現を提供する能力を拡張した。 この目的のために、様々な条件下でのマッチングのために、ビュー合成によって得られたNeRFの暗黙の知識を網羅的に検証する。 これには、異なるマッチングネットワークアーキテクチャの探索、複数のレイヤでのエンコーダ機能の抽出、さまざまなトレーニング設定が含まれる。 ビュー合成により学習したNeRFの内部知識を活かした2D-3Dマッチング機能であるNeRFMatchを導入する。 構造に基づくパイプライン内の標準的なローカライゼーションベンチマークにおけるNeRFMatchの評価は、ケンブリッジ・ランドマークスにおけるローカライゼーション性能の新たな最先端を規定する。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems [9.325214913221252]
  本稿では,LiDAR-visualシステムのための統一的な表面再構成・レンダリングフレームワークを提案する。 本研究では,NRF と NDF の間の構造的ギャップを可視的占有マップを用いて解決する。 空間変化スケールのSDF-to-density変換を用いて,NDFとNeRFのトレーニングを統一する。
  論文  参考訳（メタデータ） (2024-09-09T03:42:12Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
  本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。 新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。 提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
  論文  参考訳（メタデータ） (2024-03-15T13:40:37Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
  ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。 次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
  論文  参考訳（メタデータ） (2023-05-29T13:30:26Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。