論文の概要: CamP: Camera Preconditioning for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2308.10902v2
• Date: Wed, 30 Aug 2023 23:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 19:09:40.459444
• Title: CamP: Camera Preconditioning for Neural Radiance Fields
• Title（参考訳）: CamP:ニューラルラジアンスフィールドのためのカメラプレコンディショニング
• Authors: Keunhong Park, Philipp Henzler, Ben Mildenhall, Jonathan T. Barron, Ricardo Martin-Brualla
• Abstract要約: NeRFは、オブジェクトと大規模シーンの高忠実度3Dシーン再構成を得るために最適化することができる。 外部および固有のカメラパラメータは通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定される。 本稿では,カメラパラメータ間の相関をなくし,その効果を正規化するホワイトニング変換を代用問題として提案する。
• 参考スコア（独自算出の注目度）: 56.46526219931002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) can be optimized to obtain high-fidelity 3D scene reconstructions of objects and large-scale scenes. However, NeRFs require accurate camera parameters as input -- inaccurate camera parameters result in blurry renderings. Extrinsic and intrinsic camera parameters are usually estimated using Structure-from-Motion (SfM) methods as a pre-processing step to NeRF, but these techniques rarely yield perfect estimates. Thus, prior works have proposed jointly optimizing camera parameters alongside a NeRF, but these methods are prone to local minima in challenging settings. In this work, we analyze how different camera parameterizations affect this joint optimization problem, and observe that standard parameterizations exhibit large differences in magnitude with respect to small perturbations, which can lead to an ill-conditioned optimization problem. We propose using a proxy problem to compute a whitening transform that eliminates the correlation between camera parameters and normalizes their effects, and we propose to use this transform as a preconditioner for the camera parameters during joint optimization. Our preconditioned camera optimization significantly improves reconstruction quality on scenes from the Mip-NeRF 360 dataset: we reduce error rates (RMSE) by 67% compared to state-of-the-art NeRF approaches that do not optimize for cameras like Zip-NeRF, and by 29% relative to state-of-the-art joint optimization approaches using the camera parameterization of SCNeRF. Our approach is easy to implement, does not significantly increase runtime, can be applied to a wide variety of camera parameterizations, and can straightforwardly be incorporated into other NeRF-like models.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、物体や大規模シーンの高忠実度3次元シーン再構成に最適化することができる。 しかし、NeRFは入力として正確なカメラパラメータを必要とし、不正確なカメラパラメータはぼやけたレンダリングをもたらす。 外部および固有のカメラパラメータは、通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定されるが、これらの手法が完全に推定されることは滅多にない。 このように、以前の研究では、NeRFと共にカメラパラメータを共同最適化する手法が提案されているが、これらの手法は、挑戦的な設定において、局所最小化の傾向にある。 本研究では,この共同最適化問題に異なるカメラパラメタライゼーションがどう影響するかを解析し,標準パラメタライゼーションが小さな摂動に対して大きな差を示し,不条件の最適化問題を引き起こす可能性があることを観察する。 本稿では,カメラパラメータ間の相関を解消し,その効果を正規化するホワイトニング変換の計算にプロキシ問題を用いることを提案し,この変換をカメラパラメータの事前条件として併用する。 我々は、Zip-NeRFのようなカメラに最適化されない最先端のNeRFアプローチと比較して67%の誤差率(RMSE)を減少させ、SCNeRFのカメラパラメータ化を用いた最先端の関節最適化アプローチと比較して29%の精度で改善した。 我々の手法は実装が容易であり、実行時間を大幅に増加させることなく、様々なカメラパラメータ化に適用でき、他のNeRFモデルに簡単に組み込むことができる。

関連論文リスト

• RS-NeRF: Neural Radiance Fields from Rolling Shutter Images [30.719764073204423]
  本稿では,RS歪みを用いた入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。 これは、RS条件下で画像形成過程を再現する物理モデルを含む。 さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。
  論文  参考訳（メタデータ） (2024-07-14T16:27:11Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems [22.494866649536018]
  ニューラル・ラジアンス・フィールド(NeRF)は3次元シーン表現にマルチビュー・イメージを使用し、顕著な性能を示す。 以前のNeRFベースの手法のほとんどは、ユニークなカメラを前提としており、マルチカメラのシナリオをめったに考慮していない。 提案するMC-NeRFは,内在パラメータと外在パラメータの両方を,NeRFと併用して共同最適化する手法である。
  論文  参考訳（メタデータ） (2023-09-14T16:40:44Z)
• Density Invariant Contrast Maximization for Neuromorphic Earth Observations [55.970609838687864]
  コントラスト(CMax)技術は、カメラの運動パラメータを推定し、高コントラスト画像を生成するために、イベントベースの視覚システムで広く用いられている。 これらの手法は耐雑音性があり、シーンが構造よりもノイズの多いイベントを含む場合に発生する多重エクストリーム問題に悩まされる。 提案手法は、コントラストを計算する前に歪んだ事象を補正することにより、複数の過度および耐雑音性問題を克服する。
  論文  参考訳（メタデータ） (2023-04-27T12:17:40Z)
• NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters [7.165373389474194]
  ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。 カメラパラメータとNeRFの結合最適化に関する最近の研究は、ノイズ外在カメラパラメータの精製に重点を置いている。 我々はこれらの制限に対処するために、NeRFtrinsic Fourと呼ばれる新しいエンドツーエンドトレーニング可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-16T15:44:31Z)
• Self-Calibrating Neural Radiance Fields [68.64327335620708]
  キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
  論文  参考訳（メタデータ） (2021-08-31T13:34:28Z)
• FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
  マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。 エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。 Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
  論文  参考訳（メタデータ） (2021-05-05T09:08:12Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
  本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。