論文の概要: NeRF-VIO: Map-Based Visual-Inertial Odometry with Initialization Leveraging Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2503.07952v1
• Date: Tue, 11 Mar 2025 01:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 19:17:44.939525
• Title: NeRF-VIO: Map-Based Visual-Inertial Odometry with Initialization Leveraging Neural Radiance Fields
• Title（参考訳）: NeRF-VIO:ニューラルラジアンス場を利用した初期化を用いたマップベースビジュアル慣性オドメトリー
• Authors: Yanyu Zhang, Dongming Wang, Jie Xu, Mengyuan Liu, Pengxiang Zhu, Wei Ren,
• Abstract要約: 先行マップは、拡張現実(AR)のようなコンテキスト認識アプリケーションにおけるローカライゼーションの基礎となる参照として機能する。 地図に基づく視覚慣性局所化アルゴリズム(NeRF-VIO)を提案する。 マルチステート制約カルマンフィルタ(MSCKF)フレームワークに2段階更新機構を統合することにより、NeRF-VIOの状態は、オンボードカメラからの撮像画像と、事前訓練されたNeRFモデルからのレンダリング画像の両方によって制約される。
• 参考スコア（独自算出の注目度）: 14.294558959621892
• License:
• Abstract: A prior map serves as a foundational reference for localization in context-aware applications such as augmented reality (AR). Providing valuable contextual information about the environment, the prior map is a vital tool for mitigating drift. In this paper, we propose a map-based visual-inertial localization algorithm (NeRF-VIO) with initialization using neural radiance fields (NeRF). Our algorithm utilizes a multilayer perceptron model and redefines the loss function as the geodesic distance on \(SE(3)\), ensuring the invariance of the initialization model under a frame change within \(\mathfrak{se}(3)\). The evaluation demonstrates that our model outperforms existing NeRF-based initialization solution in both accuracy and efficiency. By integrating a two-stage update mechanism within a multi-state constraint Kalman filter (MSCKF) framework, the state of NeRF-VIO is constrained by both captured images from an onboard camera and rendered images from a pre-trained NeRF model. The proposed algorithm is validated using a real-world AR dataset, the results indicate that our two-stage update pipeline outperforms MSCKF across all data sequences.
• Abstract（参考訳）: 先行マップは、拡張現実(AR)のようなコンテキスト認識アプリケーションにおけるローカライゼーションの基礎となる参照として機能する。 環境に関する貴重な文脈情報を提供するため、先行マップは漂流を緩和するための重要なツールである。 本稿では,ニューラルレイディアンスフィールド(NeRF)を用いた初期化を用いた地図ベース視覚慣性位置決めアルゴリズム(NeRF-VIO)を提案する。 提案アルゴリズムは多層パーセプトロンモデルを用いて、損失関数を(SE(3)\)上の測地線距離として再定義し、初期化モデルが(\mathfrak{se}(3)\)内のフレーム変化の下で不変であることを保証する。 評価の結果,提案モデルでは既存のNeRF初期化解よりも精度と効率が優れていた。 マルチステート制約カルマンフィルタ(MSCKF)フレームワークに2段階更新機構を統合することにより、NeRF-VIOの状態は、オンボードカメラからの撮像画像と、事前訓練されたNeRFモデルからのレンダリング画像の両方によって制約される。 提案アルゴリズムは実世界のARデータセットを用いて検証され、その結果、我々の2段階更新パイプラインがすべてのデータシーケンスでMSCKFを上回っていることが示された。

関連論文リスト

• KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
  KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。 我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。 我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T05:48:24Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
  本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。 新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。 提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
  論文  参考訳（メタデータ） (2024-03-15T13:40:37Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Variable Radiance Field for Real-World Category-Specific Reconstruction from Single Image [25.44715538841181]
  単一画像からNeural Radiance Field(NeRF)を使用してカテゴリ固有のオブジェクトを再構成することは、有望だが挑戦的な作業である。 本稿では,カテゴリ固有のオブジェクトを効率的に再構成できる新しいフレームワークである可変放射場(VRF)を提案する。 VRFは、再構築品質と計算効率の両方において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-08T12:12:02Z)
• Sparse Signal Models for Data Augmentation in Deep Learning ATR [0.8999056386710496]
  ドメイン知識を取り入れ,データ集約学習アルゴリズムの一般化能力を向上させるためのデータ拡張手法を提案する。 本研究では,空間領域における散乱中心のスパース性とアジムタル領域における散乱係数の滑らかな変動構造を活かし,過パラメータモデルフィッティングの問題を解く。
  論文  参考訳（メタデータ） (2020-12-16T21:46:33Z)
• Identity Enhanced Residual Image Denoising [61.75610647978973]
  我々は、アイデンティティマッピングモジュールのチェーンと、画像の復号化のための残像アーキテクチャの残像からなる、完全な畳み込みネットワークモデルを学ぶ。 提案するネットワークは,従来の最先端・CNNアルゴリズムよりも極めて高い数値精度と画像品質を実現している。
  論文  参考訳（メタデータ） (2020-04-26T04:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。