論文の概要: Efficient Neural Radiance Fields with Learned Depth-Guided Sampling

• arxiv url: http://arxiv.org/abs/2112.01517v2
• Date: Mon, 6 Dec 2021 09:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 12:05:41.414116
• Title: Efficient Neural Radiance Fields with Learned Depth-Guided Sampling
• Title（参考訳）: 学習深度誘導サンプリングによる高能率神経放射場
• Authors: Haotong Lin, Sida Peng, Zhen Xu, Hujun Bao, Xiaowei Zhou
• Abstract要約: 本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。 実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。 また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
• 参考スコア（独自算出の注目度）: 43.79307270743013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to reduce the rendering time of generalizable radiance fields. Some recent works equip neural radiance fields with image encoders and are able to generalize across scenes, which avoids the per-scene optimization. However, their rendering process is generally very slow. A major factor is that they sample lots of points in empty space when inferring radiance fields. In this paper, we present a hybrid scene representation which combines the best of implicit radiance fields and explicit depth maps for efficient rendering. Specifically, we first build the cascade cost volume to efficiently predict the coarse geometry of the scene. The coarse geometry allows us to sample few points near the scene surface and significantly improves the rendering speed. This process is fully differentiable, enabling us to jointly learn the depth prediction and radiance field networks from only RGB images. Experiments show that the proposed approach exhibits state-of-the-art performance on the DTU, Real Forward-facing and NeRF Synthetic datasets, while being at least 50 times faster than previous generalizable radiance field methods. We also demonstrate the capability of our method to synthesize free-viewpoint videos of dynamic human performers in real-time. The code will be available at https://zju3dv.github.io/enerf/.
• Abstract（参考訳）: 本稿では,汎用ラミアンスフィールドのレンダリング時間を短縮することを目的とする。 最近の研究では、画像エンコーダとニューラルネットワークのラミアンスフィールドを実装し、シーンをまたいで一般化することができるため、シーン毎の最適化は避けられている。 しかし、そのレンダリングプロセスは一般的に非常に遅い。 主な要因は、放射場を推定する際に空空間の多くの点をサンプリングすることである。 本稿では,暗黙の輝度場と明示的な奥行きマップを組み合わせ,効率的なレンダリングを実現するハイブリッドシーン表現を提案する。 具体的には,シーンの粗い形状を効率的に予測するために,まずカスケードコストボリュームを構築する。 粗い幾何学により,シーン表面近傍の点数点をサンプリングし,レンダリング速度を大幅に向上させることができる。 このプロセスは完全に微分可能であり、RGB画像のみから深度予測と放射界ネットワークを共同で学習することができる。 実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセットに対して,従来の一般化可能な放射場法よりも50倍高速であることがわかった。 また,動的な演奏者の自由視点映像をリアルタイムに合成する手法の有用性を示す。 コードはhttps://zju3dv.github.io/enerf/で入手できる。

関連論文リスト

• RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis [3.4341938551046227]
  微分レンダリング法は、新しいビュー合成に大きな進歩をもたらした。 不規則分布ガウスの異なる光線鋳造のための放射放射率cと密度シグマを一貫した定式化を行う。 適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しながら、最先端のレンダリングよりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-08-06T10:59:58Z)
• Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions [5.699788926464751]
  ニューラル・ラジアンス・フィールド(NeRF)は、シーンのフォトリアリスティックなフリービューレンダリングにおいて印象的なパフォーマンスを示す。 TensoRFやZipNeRFといったNeRFの最近の改良は、最適化とレンダリングの高速化のために明示的なモデルを採用している。 放射場によって推定される深度を監督することは、より少ない視点で効果的に学習することに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-29T18:00:25Z)
• MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes [61.01853377661283]
  本稿では,ブラウザにおける大規模シーンのリアルタイムレンダリングを実現するメモリ効率のよいレイディアンスフィールド表現を提案する。 我々は,シーン座標を効率の良いレイボックス交叉を実現しつつ,境界体積にマッピングする新しい収縮関数を提案する。
  論文  参考訳（メタデータ） (2023-02-23T18:59:07Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。