論文の概要: NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters

• arxiv url: http://arxiv.org/abs/2303.09412v3
• Date: Thu, 6 Jul 2023 09:41:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 17:51:01.226866
• Title: NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters
• Title（参考訳）: NeRF固有の4つ: 逆内在カメラパラメータと外在カメラパラメータの同時最適化
• Authors: Hannah Schieber, Fabian Deuser, Bernhard Egger, Norbert Oswald, Daniel Roth
• Abstract要約: ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。 カメラパラメータとNeRFの結合最適化に関する最近の研究は、ノイズ外在カメラパラメータの精製に重点を置いている。 我々はこれらの制限に対処するために、NeRFtrinsic Fourと呼ばれる新しいエンドツーエンドトレーニング可能なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.714749910893865
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Novel view synthesis using neural radiance fields (NeRF) is the state-of-the-art technique for generating high-quality images from novel viewpoints. Existing methods require a priori knowledge about extrinsic and intrinsic camera parameters. This limits their applicability to synthetic scenes, or real-world scenarios with the necessity of a preprocessing step. Current research on the joint optimization of camera parameters and NeRF focuses on refining noisy extrinsic camera parameters and often relies on the preprocessing of intrinsic camera parameters. Further approaches are limited to cover only one single camera intrinsic. To address these limitations, we propose a novel end-to-end trainable approach called NeRFtrinsic Four. We utilize Gaussian Fourier features to estimate extrinsic camera parameters and dynamically predict varying intrinsic camera parameters through the supervision of the projection error. Our approach outperforms existing joint optimization methods on LLFF and BLEFF. In addition to these existing datasets, we introduce a new dataset called iFF with varying intrinsic camera parameters. NeRFtrinsic Four is a step forward in joint optimization NeRF-based view synthesis and enables more realistic and flexible rendering in real-world scenarios with varying camera parameters.
• Abstract（参考訳）: ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。 既存の手法では、極端および内在的なカメラパラメータに関する事前知識が必要である。 これにより、前処理ステップが必要な合成シーンや現実世界のシナリオへの適用が制限される。 カメラパラメータとNeRFの合同最適化に関する最近の研究は、ノイズのある外部カメラパラメータの精製に重点を置いており、しばしば固有のカメラパラメータの事前処理に依存している。 さらなるアプローチは、1つのカメラのみを本質的にカバーすることに限られる。 これらの制約に対処するため、我々はNeRFtrinsic Fourと呼ばれる新しいエンドツーエンドのトレーニング可能なアプローチを提案する。 我々は,gaussian fourier特徴を用いて,外部カメラパラメータを推定し,投影誤差の監視により,固有カメラパラメータの変動を動的に予測する。 提案手法はLLFFとBLEFFの既存の共同最適化手法よりも優れている。 これら既存のデータセットに加えて,固有カメラパラメータの異なるiffと呼ばれる新しいデータセットも導入する。 nerftrinsic fourは、nerfベースのビュー合成を共同最適化するステップであり、カメラパラメータの異なる現実世界のシナリオにおいて、よりリアルで柔軟なレンダリングを可能にする。

関連論文リスト

• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems [22.494866649536018]
  ニューラル・ラジアンス・フィールド(NeRF)は3次元シーン表現にマルチビュー・イメージを使用し、顕著な性能を示す。 以前のNeRFベースの手法のほとんどは、ユニークなカメラを前提としており、マルチカメラのシナリオをめったに考慮していない。 提案するMC-NeRFは,内在パラメータと外在パラメータの両方を,NeRFと併用して共同最適化する手法である。
  論文  参考訳（メタデータ） (2023-09-14T16:40:44Z)
• CamP: Camera Preconditioning for Neural Radiance Fields [56.46526219931002]
  NeRFは、オブジェクトと大規模シーンの高忠実度3Dシーン再構成を得るために最適化することができる。 外部および固有のカメラパラメータは通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定される。 本稿では,カメラパラメータ間の相関をなくし,その効果を正規化するホワイトニング変換を代用問題として提案する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:54Z)
• RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or missing camera parameters [16.7345472998388]
  新しいビュー合成(NVS)は、限られた入力画像からシーンの新しいビューを合成するコンピュータビジョンにおいて難しい課題である。 本研究では、NVIDIA動的シーンなどの動的データセットからの非ポーズ画像を利用して、データから直接カメラパラメータを学習する手法を提案する。 静的および動的シーンにおける本手法の有効性を実証し,従来のSfMおよびMVS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-15T15:27:18Z)
• FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
  マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。 エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。 Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
  論文  参考訳（メタデータ） (2021-05-05T09:08:12Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)
• NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
  本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:52:34Z)
• Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
  パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。 Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。 本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
  論文  参考訳（メタデータ） (2020-07-30T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。