論文の概要: MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems

• arxiv url: http://arxiv.org/abs/2309.07846v2
• Date: Fri, 12 Jan 2024 08:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-16 00:05:05.343866
• Title: MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems
• Title（参考訳）: mc-nerf:マルチカメラ画像取得システムのためのマルチカメラニューラルラミアンスフィールド
• Authors: Yu Gao, Lutong Su, Hao Liang, Yufeng Yue, Yi Yang, Mengyin Fu
• Abstract要約: MC-NeRFは,バンドル調整型ニューラルラジアンスフィールドに対して,固有パラメータと外部パラメータの両方を協調的に最適化する手法である。 我々は,110種類の内在パラメータと外在パラメータを持つ110個の画像を採用し,初期ポーズを伴わずに3次元シーン表現を実現する。
• 参考スコア（独自算出の注目度）: 23.83591660033626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) employ multi-view images for 3D scene representation and have shown remarkable performance. As one of the primary sources of multi-view images, multi-camera systems encounter challenges such as varying intrinsic parameters and frequent pose changes. Most previous NeRF-based methods often assume a global unique camera and seldom consider scenarios with multiple cameras. Besides, some pose-robust methods still remain susceptible to suboptimal solutions when poses are poor initialized. In this paper, we propose MC-NeRF, a method can jointly optimize both intrinsic and extrinsic parameters for bundle-adjusting Neural Radiance Fields. Firstly, we conduct a theoretical analysis to tackle the degenerate case and coupling issue that arise from the joint optimization between intrinsic and extrinsic parameters. Secondly, based on the proposed solutions, we introduce an efficient calibration image acquisition scheme for multi-camera systems, including the design of calibration object. Lastly, we present a global end-to-end network with training sequence that enables the regression of intrinsic and extrinsic parameters, along with the rendering network. Moreover, most existing datasets are designed for unique camera, we create a new dataset that includes four different styles of multi-camera acquisition systems, allowing readers to generate custom datasets. Experiments confirm the effectiveness of our method when each image corresponds to different camera parameters. Specifically, we adopt up to 110 images with 110 different intrinsic and extrinsic parameters, to achieve 3D scene representation without providing initial poses. The Code and supplementary materials are available at https://in2-viaun.github.io/MC-NeRF.
• Abstract（参考訳）: neural radiance fields (nerf) は3dシーン表現にマルチビュー画像を用いており、顕著な性能を示している。 マルチビュー画像の主な源の1つとして、マルチカメラシステムは、固有パラメータの変更や頻繁なポーズ変更といった課題に直面する。 従来のnerfベースの手法の多くは、グローバルユニークなカメラを想定しており、複数のカメラのシナリオをほとんど考慮しない。 さらに、いくつかのポーズロバスト法は、ポーズが初期化されにくい場合、まだ最適でない解に影響を受けやすい。 本稿では,バンドル調整型ニューラルラジアンスフィールドに対して,固有パラメータと外部パラメータを協調的に最適化するMC-NeRFを提案する。 第一に,本質的パラメータと外生的パラメータの結合最適化から生じる縮退事例と結合問題に対処するための理論的解析を行う。 次に,提案手法に基づいて,キャリブレーションオブジェクトの設計を含むマルチカメラシステムのための効率的なキャリブレーション画像取得手法を提案する。 最後に、レンダリングネットワークとともに、内在パラメータと外在パラメータの回帰を可能にするトレーニングシーケンスを備えたグローバルエンド・ツー・エンドネットワークを提案する。 さらに、既存のほとんどのデータセットはユニークなカメラ用に設計されており、私たちは4種類のマルチカメラ取得システムを含む新しいデータセットを作成し、読者はカスタムデータセットを作成できる。 実験により,各画像が異なるカメラパラメータに対応する場合の有効性を確認した。 具体的には,110種類の内在・外在パラメータを持つ110個の画像を採用し,初期ポーズを伴わずに3次元シーン表現を実現する。 コードと補足資料はhttps://in2-viaun.github.io/MC-NeRFで入手できる。

関連論文リスト

• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• CamP: Camera Preconditioning for Neural Radiance Fields [56.46526219931002]
  NeRFは、オブジェクトと大規模シーンの高忠実度3Dシーン再構成を得るために最適化することができる。 外部および固有のカメラパラメータは通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定される。 本稿では,カメラパラメータ間の相関をなくし,その効果を正規化するホワイトニング変換を代用問題として提案する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:54Z)
• NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters [7.165373389474194]
  ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。 カメラパラメータとNeRFの結合最適化に関する最近の研究は、ノイズ外在カメラパラメータの精製に重点を置いている。 我々はこれらの制限に対処するために、NeRFtrinsic Fourと呼ばれる新しいエンドツーエンドトレーニング可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-16T15:44:31Z)
• Multi-task Learning for Camera Calibration [3.274290296343038]
  一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。 カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-11-22T17:39:31Z)
• Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
  実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。 提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。 例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-10-09T11:46:45Z)
• Camera Calibration through Camera Projection Loss [4.36572039512405]
  画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。 従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。 提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-07T14:03:10Z)
• FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction [70.09086274139504]
  マルチビューアルゴリズムはカメラパラメータ、特にカメラ間の相対的な位置に強く依存します。 エンドツーエンドのパラメータフリーマルチビューモデルであるFLEXを紹介します。 Human3.6MおよびKTH Multi-view Football IIデータセットの結果を実証する。
  論文  参考訳（メタデータ） (2021-05-05T09:08:12Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
  パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。 Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。 本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
  論文  参考訳（メタデータ） (2020-07-30T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。