論文の概要: SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images

• arxiv url: http://arxiv.org/abs/2212.09100v3
• Date: Mon, 21 Aug 2023 12:53:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 02:05:43.572806
• Title: SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images
• Title（参考訳）: sparf: 少数の入力画像からの3次元スパース放射の大規模学習
• Authors: Abdullah Hamdi, Bernard Ghanem, Matthias Nie{\ss}ner
• Abstract要約: 本稿では、新しいビュー合成のための大規模ShapeNetベースの合成データセットであるSPARFを提案する。 少数の視点からスパースボクセル放射場を生成することを学習する新しいパイプライン(SuRFNet)を提案する。 SuRFNetは、少数の/1画像からの部分的なSRFと特別なSRF損失を用いて、高品質なボクセル放射場を生成することを学ぶ。
• 参考スコア（独自算出の注目度）: 62.64942825962934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Neural Radiance Fields (NeRFs) treat the problem of novel view synthesis as Sparse Radiance Field (SRF) optimization using sparse voxels for efficient and fast rendering (plenoxels,InstantNGP). In order to leverage machine learning and adoption of SRFs as a 3D representation, we present SPARF, a large-scale ShapeNet-based synthetic dataset for novel view synthesis consisting of $\sim$ 17 million images rendered from nearly 40,000 shapes at high resolution (400 X 400 pixels). The dataset is orders of magnitude larger than existing synthetic datasets for novel view synthesis and includes more than one million 3D-optimized radiance fields with multiple voxel resolutions. Furthermore, we propose a novel pipeline (SuRFNet) that learns to generate sparse voxel radiance fields from only few views. This is done by using the densely collected SPARF dataset and 3D sparse convolutions. SuRFNet employs partial SRFs from few/one images and a specialized SRF loss to learn to generate high-quality sparse voxel radiance fields that can be rendered from novel views. Our approach achieves state-of-the-art results in the task of unconstrained novel view synthesis based on few views on ShapeNet as compared to recent baselines. The SPARF dataset is made public with the code and models on the project website https://abdullahamdi.com/sparf/ .
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、新しいビュー合成の問題をスパース・ラジアンス・フィールド(SRF)最適化として、効率的な高速レンダリング(プレノクセル、InstantNGP)のためにスパース・ボクセルを用いて扱っている。 機械学習とSRFを3D表現として採用するために、SPARFは、高解像度(400×400ピクセル)で4万近い形状からレンダリングされた1700万ドルの画像からなる、斬新なビュー合成のための大規模ShapeNetベースの合成データセットである。 このデータセットは、新しいビュー合成のための既存の合成データセットよりも桁違い大きく、複数のボクセル解像度を持つ100万以上の3D最適化放射場を含んでいる。 さらに,少数の視点からスパースボクセル放射場を生成することを学習する新しいパイプライン (SuRFNet) を提案する。 これは、密集したSPARFデータセットと3次元スパース畳み込みを用いて行われる。 SuRFNetは、少数の画像からの部分的なSRFと特別なSRF損失を用いて、新しい視点からレンダリングできる高品質なスパースボクセル放射場を生成する。 提案手法は,最近のベースラインと比較して,ShapeNetのビューがほとんどないため,制約のない新規ビュー合成作業における最先端の成果を実現する。 SPARFデータセットは、プロジェクトのWebサイトhttps://abdullahamdi.com/sparf/で、コードとモデルとともに公開されている。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
  約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。 データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。 高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
  論文  参考訳（メタデータ） (2022-05-14T13:15:32Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。