論文の概要: NaCR: Visual Localization via NeRF-aided Camera Ray Regression
- arxiv url: http://arxiv.org/abs/2609.25907v1
- Date: Tue, 22 Sep 2026 09:13:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.307096
- Title: NaCR: Visual Localization via NeRF-aided Camera Ray Regression
- Title(参考訳): NaCR:NeRF支援カメラレイレグレッションによる視覚的位置決め
- Abstract要約: 我々は、NeRFとCRRをシームレスに線レベルでブリッジする統合フレームワークであるNeRF支援カメラレイレグレッション(NaCR)を提案する。
NaCRはCRRベースラインに3つのシンプルだが効果的な拡張を組み込んでいる。
効率的でパッチレベルの消費に適した新しいビューでトレーニングデータを合成する。
- 参考スコア(独自算出の注目度): 17.519350882726425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual localization (VL) is a fundamental technology for vision applications such as virtual reality. Recently, a novel VL paradigm, Camera Ray Regression (CRR), has emerged, which maps 2D image patches to 3D camera rays, but its accuracy is limited. To improve CRR accuracy, we notice a compelling duality: the inverse of this mapping is inherently performed by the novel view synthesis model, \ie, Neural Radiance Fields (NeRF). While NeRF renders image patches from camera rays via differentiable ray marching, CRR predicts the rays from image patches. Motivated by this complementary relationship, we propose NeRF-aided Camera Ray Regression (NaCR), a unified framework that seamlessly bridges NeRF and CRR at the ray level. First, NaCR incorporates three simple yet effective enhancements into the CRR baseline. Second, leveraging a pre-trained NeRF, NaCR augments the training data by synthesizing novel views tailored for efficient, patch-level consumption. Finally, exploiting the differentiability of NeRF, NaCR forms a closed-loop supervision pipeline where photometric rendering errors are back-propagated to optimize the predicted camera rays. To ensure stable convergence within the highly non-convex image space, we introduce a two-stage training curriculum. Extensive experiments across indoor and outdoor benchmarks demonstrate that NaCR achieves competitive accuracy. Comprehensive ablation studies validate the efficacy of each proposed component.
- Abstract(参考訳): 視覚ローカライゼーション(VL)は、仮想現実などの視覚アプリケーションのための基礎技術である。
近年、新しいVLパラダイムであるCamera Ray Regression (CRR)が登場し、2Dイメージパッチを3Dカメラにマッピングするが、精度は限られている。
CRRの精度を向上させるために、このマッピングの逆変換は、新しいビュー合成モデル \ie, Neural Radiance Fields (NeRF) によって本質的に実行される。
NeRFは、異なる光線マーチングによってカメラからの画像パッチを描画するが、CRRは画像パッチから画像パッチを予測する。
この補間関係により、我々は、NeRFとCRRをシームレスに線レベルでブリッジする統合フレームワークであるNeRF支援カメラレイレグレッション(NaCR)を提案する。
まず、NaCRはCRRベースラインに3つのシンプルで効果的な拡張を組み込んでいる。
第二に、トレーニング済みのNeRFを活用して、NaCRは、効率的でパッチレベルの消費に適した新しいビューを合成することで、トレーニングデータを増強する。
最後に、NeRFの微分可能性を利用して、NaCRはクローズドループ監視パイプラインを形成する。
非凸画像空間内で安定した収束を確保するために,2段階の訓練カリキュラムを導入する。
屋内および屋外のベンチマークにおける大規模な実験は、NaCRが競争精度を達成していることを示している。
包括的アブレーション研究により, 各成分の有効性が検証された。
関連論文リスト
- Unsupervised Multi-Parameter Inverse Solving for Reducing Ring Artifacts in 3D X-Ray CBCT [51.95884144860506]
3次元コーンビームCT(CBCT)におけるリングアーティファクトの意義
既存のSOTA(State-of-the-art)リングアーティファクトリダクション(RAR)法は、大規模なペアCTデータセットによる教師あり学習に依存している。
本研究では,新しい教師なしRAR手法であるRinerを提案する。
論文 参考訳(メタデータ) (2024-12-08T08:22:58Z) - Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす
近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。
我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文 参考訳(メタデータ) (2024-10-23T13:05:26Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - FlipNeRF: Flipped Reflection Rays for Few-shot Novel View Synthesis [30.25904672829623]
FlipNeRFは,提案したフレキシブルリフレクション線を利用して,数発の新規ビュー合成のための新しい正規化手法である。
FlipNeRFは、異なるシーン構造全体にわたって効果的に浮かぶアーティファクトを削減し、より信頼性の高いアウトプットを見積もることができる。
論文 参考訳(メタデータ) (2023-06-30T15:11:00Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。
提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
論文 参考訳(メタデータ) (2021-12-03T07:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。