論文の概要: NeRF--: Neural Radiance Fields Without Known Camera Parameters

• arxiv url: http://arxiv.org/abs/2102.07064v2
• Date: Tue, 16 Feb 2021 10:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:07:33.771969
• Title: NeRF--: Neural Radiance Fields Without Known Camera Parameters
• Title（参考訳）: nerf--既知のカメラパラメータを持たない神経放射場
• Authors: Zirui Wang, Shangzhe Wu, Weidi Xie, Min Chen, Victor Adrian Prisacariu
• Abstract要約: 本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
• 参考スコア（独自算出の注目度）: 31.01560143595185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tackles the problem of novel view synthesis (NVS) from 2D images without known camera poses and intrinsics. Among various NVS techniques, Neural Radiance Field (NeRF) has recently gained popularity due to its remarkable synthesis quality. Existing NeRF-based approaches assume that the camera parameters associated with each input image are either directly accessible at training, or can be accurately estimated with conventional techniques based on correspondences, such as Structure-from-Motion. In this work, we propose an end-to-end framework, termed NeRF--, for training NeRF models given only RGB images, without pre-computed camera parameters. Specifically, we show that the camera parameters, including both intrinsics and extrinsics, can be automatically discovered via joint optimisation during the training of the NeRF model. On the standard LLFF benchmark, our model achieves comparable novel view synthesis results compared to the baseline trained with COLMAP pre-computed camera parameters. We also conduct extensive analyses to understand the model behaviour under different camera trajectories, and show that in scenarios where COLMAP fails, our model still produces robust results.
• Abstract（参考訳）: 本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 様々なNVS技術の中で、Neural Radiance Field (NeRF)は、その顕著な合成品質のために最近人気を集めている。 既存のNeRFベースのアプローチでは、各入力画像に関連するカメラパラメータがトレーニング時に直接アクセス可能であるか、Structure-from-Motionのような従来の手法で正確に推定できる。 本研究では,RGB画像のみのNeRFモデルを予め計算したカメラパラメータを使わずにトレーニングするための,NeRF-と呼ばれるエンドツーエンドフレームワークを提案する。 具体的には,nerfモデルの学習中に,内在的および外在的の両方を含むカメラパラメータが協調最適化により自動的に検出されることを示す。 標準のLLFFベンチマークでは、COLMAPプリコンピュレートカメラパラメータで訓練されたベースラインと比較して、新しいビュー合成結果が得られます。 また、異なるカメラトラジェクトリのモデル動作を理解するために広範囲な分析を行い、COLMAPが失敗するシナリオでは、モデルが頑健な結果をもたらすことを示す。

関連論文リスト

• RS-NeRF: Neural Radiance Fields from Rolling Shutter Images [30.719764073204423]
  本稿では,RS歪みを用いた入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。 これは、RS条件下で画像形成過程を再現する物理モデルを含む。 さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。
  論文  参考訳（メタデータ） (2024-07-14T16:27:11Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• CamP: Camera Preconditioning for Neural Radiance Fields [56.46526219931002]
  NeRFは、オブジェクトと大規模シーンの高忠実度3Dシーン再構成を得るために最適化することができる。 外部および固有のカメラパラメータは通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定される。 本稿では,カメラパラメータ間の相関をなくし,その効果を正規化するホワイトニング変換を代用問題として提案する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:54Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters [7.165373389474194]
  ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。 カメラパラメータとNeRFの結合最適化に関する最近の研究は、ノイズ外在カメラパラメータの精製に重点を置いている。 我々はこれらの制限に対処するために、NeRFtrinsic Fourと呼ばれる新しいエンドツーエンドトレーニング可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-16T15:44:31Z)
• RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or missing camera parameters [16.7345472998388]
  新しいビュー合成(NVS)は、限られた入力画像からシーンの新しいビューを合成するコンピュータビジョンにおいて難しい課題である。 本研究では、NVIDIA動的シーンなどの動的データセットからの非ポーズ画像を利用して、データから直接カメラパラメータを学習する手法を提案する。 静的および動的シーンにおける本手法の有効性を実証し,従来のSfMおよびMVS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-15T15:27:18Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• Self-Calibrating Neural Radiance Fields [68.64327335620708]
  キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
  論文  参考訳（メタデータ） (2021-08-31T13:34:28Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。