論文の概要: NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2312.13471v2
• Date: Tue, 16 Jul 2024 05:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 23:40:44.553866
• Title: NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields
• Title（参考訳）: NeRF-VO:ニューラルラジアンス場を用いたリアルタイムスパース視覚計測
• Authors: Jens Naumann, Binbin Xu, Stefan Leutenegger, Xingxing Zuo,
• Abstract要約: NeRF-VOは、低遅延カメラトラッキングとニューラルラディアンスシーン表現のための学習ベースのスパースビジュアルオドメトリーを統合している。 我々は、様々な合成および実世界のデータセットに対して、ポーズ推定精度、新しいビュー忠実度、および密度の高い再構成品質においてSOTA法を超越した。
• 参考スコア（独自算出の注目度）: 13.178099653374945
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce a novel monocular visual odometry (VO) system, NeRF-VO, that integrates learning-based sparse visual odometry for low-latency camera tracking and a neural radiance scene representation for fine-detailed dense reconstruction and novel view synthesis. Our system initializes camera poses using sparse visual odometry and obtains view-dependent dense geometry priors from a monocular prediction network. We harmonize the scale of poses and dense geometry, treating them as supervisory cues to train a neural implicit scene representation. NeRF-VO demonstrates exceptional performance in both photometric and geometric fidelity of the scene representation by jointly optimizing a sliding window of keyframed poses and the underlying dense geometry, which is accomplished through training the radiance field with volume rendering. We surpass SOTA methods in pose estimation accuracy, novel view synthesis fidelity, and dense reconstruction quality across a variety of synthetic and real-world datasets while achieving a higher camera tracking frequency and consuming less GPU memory.
• Abstract（参考訳）: 我々は,低遅延カメラ追跡のための学習ベーススパース視覚計測システムNeRF-VOと,微細な高密度再構成と新しいビュー合成のためのニューラルラディアンスシーン表現を統合した新しいモノクロ視覚計測システムNeRF-VOを導入する。 本システムでは,スパース・ビジュアル・オドメトリーを用いてカメラのポーズを初期化し,モノラルな予測ネットワークからビュー依存の高密度な幾何学的先行情報を得る。 我々は、ポーズのスケールと密な幾何学を調和させ、それらを神経暗黙のシーン表現を訓練するための監督的手がかりとして扱う。 NeRF-VOは、キーフレームされたポーズのスライドウィンドウと、ボリュームレンダリングによるラディアンスフィールドのトレーニングによって達成される下層の密度幾何を共同最適化することにより、シーン表現の測度と幾何学的忠実度の両方において、例外的な性能を示す。 我々は、高いカメラトラッキング周波数を実現し、GPUメモリの消費を抑えつつ、ポーズ推定精度、新しいビュー合成忠実度、および様々な合成および実世界のデータセットにおける密度の高い再構成品質をSOTA法を超えている。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
  我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。 各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
  論文  参考訳（メタデータ） (2024-03-29T07:59:37Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
  本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。 我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
  論文  参考訳（メタデータ） (2023-09-19T05:44:00Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
  本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。 筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。 屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• Neural Implicit Surface Reconstruction using Imaging Sonar [38.73010653104763]
  画像ソナー(FLS)を用いた物体の高密度3次元再構成手法を提案する。 シーン幾何を点雲や体積格子としてモデル化する従来の手法と比較して、幾何をニューラル暗黙関数として表現する。 我々は,実データと合成データを用いて実験を行い,本アルゴリズムは,従来よりも高精細なFLS画像から高精細な表面形状を再構成し,それに伴うメモリオーバーヘッドに悩まされることを実証した。
  論文  参考訳（メタデータ） (2022-09-17T02:23:09Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。