論文の概要: iNeRF: Inverting Neural Radiance Fields for Pose Estimation

• arxiv url: http://arxiv.org/abs/2012.05877v2
• Date: Thu, 1 Apr 2021 18:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 06:12:14.410102
• Title: iNeRF: Inverting Neural Radiance Fields for Pose Estimation
• Title（参考訳）: iNeRF:Pose Estimationのためのニューラルラジアンスフィールドの反転
• Authors: Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Alberto Rodriguez, Phillip Isola, Tsung-Yi Lin
• Abstract要約: Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
• 参考スコア（独自算出の注目度）: 68.91325516370013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present iNeRF, a framework that performs mesh-free pose estimation by "inverting" a Neural RadianceField (NeRF). NeRFs have been shown to be remarkably effective for the task of view synthesis - synthesizing photorealistic novel views of real-world scenes or objects. In this work, we investigate whether we can apply analysis-by-synthesis via NeRF for mesh-free, RGB-only 6DoF pose estimation - given an image, find the translation and rotation of a camera relative to a 3D object or scene. Our method assumes that no object mesh models are available during either training or test time. Starting from an initial pose estimate, we use gradient descent to minimize the residual between pixels rendered from a NeRF and pixels in an observed image. In our experiments, we first study 1) how to sample rays during pose refinement for iNeRF to collect informative gradients and 2) how different batch sizes of rays affect iNeRF on a synthetic dataset. We then show that for complex real-world scenes from the LLFF dataset, iNeRF can improve NeRF by estimating the camera poses of novel images and using these images as additional training data for NeRF. Finally, we show iNeRF can perform category-level object pose estimation, including object instances not seen during training, with RGB images by inverting a NeRF model inferred from a single view.
• Abstract（参考訳）: 我々は、Neural RadianceField(NeRF)を"反転"することでメッシュフリーのポーズ推定を行うフレームワークiNeRFを提案する。 NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成する、ビュー合成のタスクに極めて効果的であることが示されている。 本研究では,メッシュフリーでRGBのみの6DoFポーズ推定にNeRFを用いた分析合成を適用することができるかを検討する。 我々の手法は、トレーニングやテストの期間中にオブジェクトメッシュモデルが利用できないと仮定する。 初期ポーズ推定から, 勾配降下法を用いて, nerfから描画された画素と観測画像中の画素との間の残差を最小限に抑える。 実験では,まず,iNeRFの補間光線をサンプリングして情報勾配を抽出する方法,および,iNeRFの合成データセット上でのバッチサイズの違いが,iNeRFに与える影響について検討した。 LLFFデータセットからの複雑な実世界のシーンに対して、iNeRFは、新しい画像のカメラポーズを推定し、これらの画像をNeRFのトレーニングデータとして用いることにより、NeRFを改善することができることを示す。 最後に、iNeRFは、トレーニング中に見えないオブジェクトインスタンスを含むカテゴリレベルのオブジェクトポーズ推定を、単一のビューから推論されたNeRFモデルを反転させることで、RGBイメージで行うことができることを示す。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model [17.202161109957608]
  IFFNeRFを導入し、所定の画像の6自由度カメラポーズを推定する。 IFFNeRFは特にリアルタイムに動作するように設計されており、最初のポーズ推定の必要性を排除している。
  論文  参考訳（メタデータ） (2024-03-19T12:36:51Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera Pose Alignment [12.580584725107173]
  インクリメンタルなNeRFトレーニングのための新しいフレームワークであるIL-NeRFを提案する。 IL-NeRFは、インクリメンタルなNeRFトレーニングを処理し、ベースラインを最大54.04%のレンダリング品質で上回ります。
  論文  参考訳（メタデータ） (2023-12-10T04:12:27Z)
• NeRFuser: Large-Scale Scene Representation by NeRF Fusion [35.749208740102546]
  Neural Radiance Fields (NeRF)のような暗黙的な視覚表現の実用的な利点は、そのメモリ効率である。 既製のNeRFへのアクセスのみを前提としたNeRF登録とブレンディングのための新しいアーキテクチャであるNeRFuserを提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:05Z)
• NeRF applied to satellite imagery for surface reconstruction [5.027411102165872]
  本稿では、最近導入されたシャドウニューラルレージアンスフィールド(S-NeRF)モデルの修正実装であるSurf-NeRFを提案する。 本手法は、画像中の光の変動を考慮しつつ、シーンの衛星画像の粗い集合から新規なビューを合成することができる。 トレーニングされたモデルは、しばしば衛星観測用途に望ましい量であるシーンの表面の標高を正確に推定するためにも使用できる。
  論文  参考訳（メタデータ） (2023-04-09T01:37:13Z)
• StegaNeRF: Embedding Invisible Information within Neural Radiance Fields [61.653702733061785]
  我々は、NeRFレンダリングにステガノグラフィー情報を埋め込む方法であるStegaNeRFを提案する。 我々は、NeRFで描画された画像から正確な隠れ情報抽出を可能にする最適化フレームワークを設計する。 StegaNeRFは、NeRFレンダリングにカスタマイズ可能で、認識不能で、回復不能な情報を注入する新しい問題に対する最初の調査である。
  論文  参考訳（メタデータ） (2022-12-03T12:14:19Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。