論文の概要: VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2404.09271v1
• Date: Sun, 14 Apr 2024 14:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 14:48:15.265419
• Title: VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field
• Title（参考訳）: VRS-NeRF: スパースニューラル放射場を用いた視覚的再局在
• Authors: Fei Xue, Ignas Budvytis, Daniel Olmeda Reino, Roberto Cipolla,
• Abstract要約: スパースニューラル放射場を用いた視覚的再局在のための,VRS-NeRFと呼ばれる効率的かつ正確なフレームワークを提案する。 本稿では,3次元地図表現のための明示的幾何マップ (EGM) と,スパースパッチレンダリングのための暗黙的学習マップ (ILM) を紹介する。 提案手法は, APR や SCR よりもはるかに精度が高く,HM に近い性能を示すが,より効率的である。
• 参考スコア（独自算出の注目度）: 37.57533470759197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual relocalization is a key technique to autonomous driving, robotics, and virtual/augmented reality. After decades of explorations, absolute pose regression (APR), scene coordinate regression (SCR), and hierarchical methods (HMs) have become the most popular frameworks. However, in spite of high efficiency, APRs and SCRs have limited accuracy especially in large-scale outdoor scenes; HMs are accurate but need to store a large number of 2D descriptors for matching, resulting in poor efficiency. In this paper, we propose an efficient and accurate framework, called VRS-NeRF, for visual relocalization with sparse neural radiance field. Precisely, we introduce an explicit geometric map (EGM) for 3D map representation and an implicit learning map (ILM) for sparse patches rendering. In this localization process, EGP provides priors of spare 2D points and ILM utilizes these sparse points to render patches with sparse NeRFs for matching. This allows us to discard a large number of 2D descriptors so as to reduce the map size. Moreover, rendering patches only for useful points rather than all pixels in the whole image reduces the rendering time significantly. This framework inherits the accuracy of HMs and discards their low efficiency. Experiments on 7Scenes, CambridgeLandmarks, and Aachen datasets show that our method gives much better accuracy than APRs and SCRs, and close performance to HMs but is much more efficient.
• Abstract（参考訳）: 視覚的再ローカライゼーションは、自律運転、ロボティクス、バーチャル/拡張現実にとって重要なテクニックである。 数十年にわたる探索の後、絶対ポーズ回帰(APR)、シーン座標回帰(SCR)、階層的手法(HM)が最も人気のあるフレームワークとなった。 しかし、高効率にもかかわらず、特に大規模な屋外シーンではAPRとSCRは精度が限られており、HMは正確であるが、マッチングのために多数の2Dディスクリプタを格納する必要があるため、効率が低下する。 本稿では,スパルス神経放射場を用いた視覚的再局在化のための,VRS-NeRF(VRS-NeRF)という,効率的かつ正確なフレームワークを提案する。 正確には、3次元地図表現のための明示的幾何学地図 (EGM) と、スパースパッチレンダリングのための暗黙学習地図 (ILM) を導入する。 このローカライズプロセスでは、EGPはスペアな2Dポイントの先行を提供し、ILMはこれらのスパースポイントを使用して、スパースなNeRFでパッチを描画する。 これにより、マップサイズを減らすために、多数の2Dディスクリプタを捨てることができます。 さらに、画像全体のすべてのピクセルではなく、有用なポイントにのみパッチをレンダリングすることで、レンダリング時間が大幅に短縮される。 このフレームワークはHMの精度を継承し、その低効率を破棄する。 7Scenes、CambridgeLandmarks、Aachenのデータセットによる実験では、我々の手法はAPRやSCRよりもはるかに精度が高く、HMsに近いが、より効率的である。

関連論文リスト

• SplatLoc: 3D Gaussian Splatting-based Visual Localization for Augmented Reality [50.179377002092416]
  より少ないパラメータで高品質なレンダリングが可能な効率的なビジュアルローカライズ手法を提案する。 提案手法は,最先端の暗黙的視覚的ローカライゼーションアプローチに対して,より優れた,あるいは同等なレンダリングとローカライゼーション性能を実現する。
  論文  参考訳（メタデータ） (2024-09-21T08:46:16Z)
• GaussReg: Fast 3D Registration with Gaussian Splatting [10.049564362260055]
  ポイントクラウドの登録は、大規模な3Dシーンのスキャンと再構築の基本的な問題である。 我々は,ポイントクラウド登録のための新しい粗粒度フレームワークであるGaussRegを提案する。 提案手法は,複数のデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-07T04:35:51Z)
• Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
  3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。 本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。 Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
  論文  参考訳（メタデータ） (2024-05-26T12:26:54Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• PyNeRF: Pyramidal Neural Radiance Fields [51.25406129834537]
  本研究では,異なる空間グリッド解像度でモデルヘッドを訓練することにより,グリッドモデルへの簡単な修正を提案する。 レンダリング時には、単に粗いグリッドを使用して、より大きなボリュームをカバーするサンプルをレンダリングします。 Mip-NeRFと比較して、60倍高速なトレーニングをしながらエラー率を20%削減する。
  論文  参考訳（メタデータ） (2023-11-30T23:52:46Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Fast and Lightweight Scene Regressor for Camera Relocalization [1.6708069984516967]
  プレビルドされた3Dモデルに対して直接カメラのポーズを推定することは、いくつかのアプリケーションにとって違法にコストがかかる可能性がある。 本研究では,シーン座標のマッピングに多層パーセプトロンネットワークのみを必要とする簡易なシーン回帰手法を提案する。 提案手法では,高密度のRGB画像ではなく,スパースディスクリプタを用いてシーン座標を回帰する。
  論文  参考訳（メタデータ） (2022-12-04T14:41:20Z)
• PixSelect: Less but Reliable Pixels for Accurate and Efficient Localization [0.0]
  与えられた環境下での1枚のRGB画像からグローバル6DFカメラのポーズを推定する問題に対処する。 私たちの研究は、Cambridge Landmarksデータセットの最先端の手法を超えています。
  論文  参考訳（メタデータ） (2022-06-08T09:46:03Z)
• Efficient Neural Radiance Fields with Learned Depth-Guided Sampling [43.79307270743013]
  本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。 実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。 また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。