論文の概要: MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems
- arxiv url: http://arxiv.org/abs/2309.07846v3
- Date: Fri, 22 Mar 2024 12:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 22:49:52.056108
- Title: MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems
- Title（参考訳）: MC-NeRF:マルチカメラ画像取得システムのためのマルチカメラニューラル放射場
- Authors: Yu Gao, Lutong Su, Hao Liang, Yufeng Yue, Yi Yang, Mengyin Fu,
- Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は3次元シーン表現にマルチビュー・イメージを使用し、顕著な性能を示す。
以前のNeRFベースの手法のほとんどは、ユニークなカメラを前提としており、マルチカメラのシナリオをめったに考慮していない。
提案するMC-NeRFは,内在パラメータと外在パラメータの両方を,NeRFと併用して共同最適化する手法である。
- 参考スコア（独自算出の注目度）: 22.494866649536018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) use multi-view images for 3D scene representation, demonstrating remarkable performance. As one of the primary sources of multi-view images, multi-camera systems encounter challenges such as varying intrinsic parameters and frequent pose changes. Most previous NeRF-based methods assume a unique camera and rarely consider multi-camera scenarios. Besides, some NeRF methods that can optimize intrinsic and extrinsic parameters still remain susceptible to suboptimal solutions when these parameters are poor initialized. In this paper, we propose MC-NeRF, a method that enables joint optimization of both intrinsic and extrinsic parameters alongside NeRF. The method also supports each image corresponding to independent camera parameters. First, we tackle coupling issue and the degenerate case that arise from the joint optimization between intrinsic and extrinsic parameters. Second, based on the proposed solutions, we introduce an efficient calibration image acquisition scheme for multi-camera systems, including the design of calibration object. Finally, we present an end-to-end network with training sequence that enables the estimation of intrinsic and extrinsic parameters, along with the rendering network. Furthermore, recognizing that most existing datasets are designed for a unique camera, we construct a real multi-camera image acquisition system and create a corresponding new dataset, which includes both simulated data and real-world captured images. Experiments confirm the effectiveness of our method when each image corresponds to different camera parameters. Specifically, we use multi-cameras, each with different intrinsic and extrinsic parameters in real-world system, to achieve 3D scene representation without providing initial poses.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3次元シーン表現にマルチビュー・イメージを使用し、顕著な性能を示す。
マルチビュー画像の主要なソースの1つとして、マルチカメラシステムは固有のパラメータの変化や頻繁なポーズ変更といった課題に直面している。
以前のNeRFベースの手法のほとんどは、ユニークなカメラを前提としており、マルチカメラのシナリオをめったに考慮していない。
さらに、内在パラメータと外在パラメータを最適化できるいくつかのNeRF法は、これらのパラメータが初期化されていない場合、依然として準最適解の影響を受けやすいままである。
本稿では, MC-NeRFを提案する。これは, 内在パラメータと外在パラメータを NeRF と同時最適化する手法である。
また、独立カメラパラメータに対応する各画像もサポートする。
まず,内因性パラメータと外因性パラメータの結合最適化から生じる結合問題と退化問題に取り組む。
次に,提案手法に基づいて,キャリブレーションオブジェクトの設計を含むマルチカメラシステムのための効率的なキャリブレーション画像取得手法を提案する。
最後に、レンダリングネットワークとともに、固有パラメータと外部パラメータを推定できるトレーニングシーケンスを備えたエンドツーエンドネットワークを提案する。
さらに、既存のほとんどのデータセットがユニークなカメラ用に設計されていることを認識し、実際のマルチカメラ画像取得システムを構築し、シミュレートされたデータと実世界のキャプチャ画像の両方を含む対応する新しいデータセットを作成する。
実験により,各画像が異なるカメラパラメータに対応する場合に,本手法の有効性を確認した。
具体的には、実世界のシステムにおいて、異なる内在パラメータと外在パラメータを持つマルチカメラを用いて、初期ポーズを伴わずに3Dシーン表現を実現する。
関連論文リスト
- OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。
本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。
提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-06-14T13:16:18Z) - CamP: Camera Preconditioning for Neural Radiance Fields [56.46526219931002]
NeRFは、オブジェクトと大規模シーンの高忠実度3Dシーン再構成を得るために最適化することができる。
外部および固有のカメラパラメータは通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定される。
本稿では,カメラパラメータ間の相関をなくし,その効果を正規化するホワイトニング変換を代用問題として提案する。
論文 参考訳（メタデータ） (2023-08-21T17:59:54Z) - NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing
Diverse Intrinsic and Extrinsic Camera Parameters [7.165373389474194]
ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。
カメラパラメータとNeRFの結合最適化に関する最近の研究は、ノイズ外在カメラパラメータの精製に重点を置いている。
我々はこれらの制限に対処するために、NeRFtrinsic Fourと呼ばれる新しいエンドツーエンドトレーニング可能なアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-16T15:44:31Z) - Multi-task Learning for Camera Calibration [3.274290296343038]
一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。
カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
論文 参考訳（メタデータ） (2022-11-22T17:39:31Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - Camera Calibration through Camera Projection Loss [4.36572039512405]
画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。
従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。
提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
論文 参考訳（メタデータ） (2021-10-07T14:03:10Z) - FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。
エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。
Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
論文 参考訳（メタデータ） (2021-05-05T09:08:12Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳（メタデータ） (2021-05-01T14:32:13Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。