論文の概要: PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2312.10649v1
- Date: Sun, 17 Dec 2023 08:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:21:19.208027
- Title: PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields
- Title(参考訳): PNeRFLoc: 点ベースニューラルラジアンス場を用いた視覚的位置決め
- Authors: Boming Zhao, Luwei Yang, Mao Mao, Hujun Bao, Zhaopeng Cui
- Abstract要約: 統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
- 参考スコア(独自算出の注目度): 54.8553158441296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the ability to synthesize high-quality novel views, Neural Radiance
Fields (NeRF) have been recently exploited to improve visual localization in a
known environment. However, the existing methods mostly utilize NeRFs for data
augmentation to improve the regression model training, and the performance on
novel viewpoints and appearances is still limited due to the lack of geometric
constraints. In this paper, we propose a novel visual localization framework,
\ie, PNeRFLoc, based on a unified point-based representation. On the one hand,
PNeRFLoc supports the initial pose estimation by matching 2D and 3D feature
points as traditional structure-based methods; on the other hand, it also
enables pose refinement with novel view synthesis using rendering-based
optimization. Specifically, we propose a novel feature adaption module to close
the gaps between the features for visual localization and neural rendering. To
improve the efficacy and efficiency of neural rendering-based optimization, we
also develop an efficient rendering-based framework with a warping loss
function. Furthermore, several robustness techniques are developed to handle
illumination changes and dynamic objects for outdoor scenarios. Experiments
demonstrate that PNeRFLoc performs the best on synthetic data when the NeRF
model can be well learned and performs on par with the SOTA method on the
visual localization benchmark datasets.
- Abstract(参考訳): 高品質なノベルビューを合成する能力により、ニューラルレージアンスフィールド(NeRF)は、最近、既知の環境における視覚的ローカライゼーションを改善するために活用されている。
しかし, 既存の手法では, 回帰モデルトレーニングを改善するためにNeRFを主に利用しており, 幾何学的制約が欠如しているため, 新たな視点や外観の性能は依然として限られている。
本稿では,統一ポイントベース表現に基づく新しいビジュアルローカライゼーションフレームワーク \ie, pnerflocを提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点を従来の構造的手法とマッチングすることで、初期ポーズ推定をサポートし、一方、レンダリングベース最適化を用いた新しいビュー合成によるポーズ改善を可能にする。
具体的には、視覚的ローカライゼーションとニューラルレンダリングのギャップを埋めるための新しい特徴適応モジュールを提案する。
ニューラルレンダリングに基づく最適化の有効性と効率を改善するために,ワーピング損失関数を備えた効率的なレンダリングベースのフレームワークを開発した。
さらに,屋外シナリオの照明変化や動的物体を扱うためのロバストネス手法もいくつか開発されている。
実験により、PNeRFLocは、NeRFモデルが十分に学習でき、視覚的ローカライゼーションベンチマークデータセット上でSOTA法と同等に動作する場合に、合成データに対して最善を尽くすことを示した。
関連論文リスト
- Anisotropic Neural Representation Learning for High-Quality Neural
Rendering [0.0]
本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
論文 参考訳(メタデータ) (2023-11-30T07:29:30Z) - VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for
Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。
我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。
我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-11-09T11:32:49Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。
もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。
本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
論文 参考訳(メタデータ) (2023-03-24T13:56:45Z) - IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable
Novel View Synthesis [90.03590032170169]
内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。
そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
論文 参考訳(メタデータ) (2022-10-02T22:45:11Z) - Cascaded and Generalizable Neural Radiance Fields for Fast View
Synthesis [35.035125537722514]
ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。
DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。
CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-09T12:23:48Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。