論文の概要: IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model

• arxiv url: http://arxiv.org/abs/2403.12682v1
• Date: Tue, 19 Mar 2024 12:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 14:23:34.326218
• Title: IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model
• Title（参考訳）: IFFNeRF: 単一画像とNeRFモデルからの自由かつ高速な6DoFポーズ推定
• Authors: Matteo Bortolon, Theodore Tsesmelis, Stuart James, Fabio Poiesi, Alessio Del Bue,
• Abstract要約: IFFNeRFを導入し、所定の画像の6自由度カメラポーズを推定する。 IFFNeRFは特にリアルタイムに動作するように設計されており、最初のポーズ推定の必要性を排除している。
• 参考スコア（独自算出の注目度）: 17.202161109957608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce IFFNeRF to estimate the six degrees-of-freedom (6DoF) camera pose of a given image, building on the Neural Radiance Fields (NeRF) formulation. IFFNeRF is specifically designed to operate in real-time and eliminates the need for an initial pose guess that is proximate to the sought solution. IFFNeRF utilizes the Metropolis-Hasting algorithm to sample surface points from within the NeRF model. From these sampled points, we cast rays and deduce the color for each ray through pixel-level view synthesis. The camera pose can then be estimated as the solution to a Least Squares problem by selecting correspondences between the query image and the resulting bundle. We facilitate this process through a learned attention mechanism, bridging the query image embedding with the embedding of parameterized rays, thereby matching rays pertinent to the image. Through synthetic and real evaluation settings, we show that our method can improve the angular and translation error accuracy by 80.1% and 67.3%, respectively, compared to iNeRF while performing at 34fps on consumer hardware and not requiring the initial pose guess.
• Abstract（参考訳）: IFFNeRFを導入し、ニューラルネットワーク(NeRF)の定式化に基づいて、与えられた画像の6自由度(6DoF)カメラポーズを推定する。 IFFNeRFは特にリアルタイムに動作するよう設計されており、探索された解に近づいた最初のポーズ推定の必要性を排除している。 IFFNeRFは、メトロポリス・ハスティングアルゴリズムを用いて、NeRFモデルから表面点をサンプリングする。 これらの点から、画素レベルのビュー合成により、光線を鋳造し、各光線の色を推定する。 カメラのポーズは、クエリ画像と結果バンドルの対応を選択することで、最小のスクエア問題の解決策として推定することができる。 このプロセスは学習された注意機構を通じて促進され、パラメータ化された線を埋め込んだクエリイメージをブリッジすることで、画像に関連付けられた光をマッチングする。 提案手法は, 消費者ハードウェア上で34fps動作し, 初期ポーズ推定を必要としないiNeRFと比較して, 角度誤差と翻訳誤差の精度を80.1%, 67.3%向上できることを示す。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• USB-NeRF: Unrolling Shutter Bundle Adjusted Neural Radiance Fields [7.671858441929298]
  ニューラルラジアンスフィールド(USB-NeRF)のアンローリングシャッターバンドルについて提案する。 USB-NeRFは、回転シャッター歪みを補正し、NeRFの枠組みの下で同時に正確なカメラモーション軌跡を復元することができる。 我々のアルゴリズムは、RS画像のシーケンスから高忠実度高フレームレートのグローバルシャッタービデオの復元にも利用できる。
  論文  参考訳（メタデータ） (2023-10-04T09:51:58Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Boosting Point Clouds Rendering via Radiance Mapping [49.24193509772339]
  コンパクトなモデル設計でポイントクラウドレンダリングの画質向上に重点を置いている。 我々はNeRF表現を1ピクセルあたりの単一評価しか必要としない空間マッピング関数に単純化する。 提案手法は点雲上での最先端のレンダリングを実現し,先行研究を顕著なマージンで上回った。
  論文  参考訳（メタデータ） (2022-10-27T01:25:57Z)
• SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction [147.9379707578091]
  NeRFmmは、共同最適化タスクを扱うNeRF(Neural Radiance Fields)である。 NeRFmmは正確なシーン合成とポーズ推定を行うが、難しいシーンで完全に注釈付けされたベースラインを上回るのに苦戦している。 放射光マッピングにおける正弦波活性化を利用する正弦波ニューラルレイディアンス場(SiNeRF)と、効率よく光束を選択するための新しい混合領域サンプリング(MRS)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T10:47:51Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields [45.84983186882732]
  mip-NeRF"("mipmap")は、NeRFを拡張してシーンを継続的に価値あるスケールで表現します。 mip-NeRFは、光線の代わりにアンチエイリアスコニカルフラストを効率的にレンダリングすることで、不快なエイリアスアーティファクトを低減します。 NeRFと比較して、mip-NeRFはNeRFで提示されたデータセットでは平均エラー率を16%、そのデータセットでは60%削減する。
  論文  参考訳（メタデータ） (2021-03-24T18:02:11Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。