論文の概要: Adaptive Shells for Efficient Neural Radiance Field Rendering

• arxiv url: http://arxiv.org/abs/2311.10091v1
• Date: Thu, 16 Nov 2023 18:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 13:15:56.980413
• Title: Adaptive Shells for Efficient Neural Radiance Field Rendering
• Title（参考訳）: 能率性ニューラルラジアンス場レンダリングのための適応シェル
• Authors: Zian Wang, Tianchang Shen, Merlin Nimier-David, Nicholas Sharp, Jun Gao, Alexander Keller, Sanja Fidler, Thomas M\"uller, Zan Gojcic
• Abstract要約: 本稿では, 表面および表面のレンダリングを円滑に遷移させるニューラル放射率の定式化を提案する。 我々の手法は、非常に高い忠実度で効率的なレンダリングを可能にする。 また,抽出したエンベロープは,アニメーションやシミュレーションなどの下流アプリケーションを可能にすることを示す。
• 参考スコア（独自算出の注目度）: 92.18962730460842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.
• Abstract（参考訳）: ニューラルラディアンス場は、新しいビュー合成において前例のない品質を達成するが、その体積定式化は高価であり、高解像度画像のレンダリングには膨大なサンプルを必要とする。 ボリュームエンコーディングは葉や毛髪などのファジィな幾何学を表現するのに必須であり、確率的最適化に適している。 しかし、多くのシーンは最終的に1ピクセルにつき1つのサンプルで正確にレンダリングできる固体表面で構成されている。 この知見に基づいて, 容積と表面のレンダリングを円滑に遷移させ, レンダリング速度を大幅に高速化し, 視覚的忠実度を向上するニューラル放射率定式化を提案する。 本手法は,神経容積表現を空間的に結合した明示的なメッシュ包絡を構成する。 固体領域では、封筒は表面へほぼ収束し、しばしば単一のサンプルでレンダリングされる。 そこで我々は,NeuSの定式化を,密度の広がりを符号化した空間変化カーネルサイズで一般化し,広いカーネルを体積状の領域に,狭いカーネルを表面のような領域に適合させる。 次に、カーネルサイズによって幅が決定される表面の狭い帯域の明示的なメッシュを抽出し、この帯域内の放射場を微調整する。 推定時, メッシュに対して光線を照射し, 囲み領域内での放射界の評価を行い, 必要な試料数を大幅に削減した。 実験によれば、この手法は高い忠実度で効率的なレンダリングを可能にする。 また,抽出されたエンベロープがアニメーションやシミュレーションなどの下流アプリケーションを可能にすることを示す。

関連論文リスト

• Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis [70.40950409274312]
  我々は、細い構造を再構築する能力を損なうことなく、表面への収束を促すために密度場を変更する。 また, メッシュの単純化と外観モデルの適合により, 融合型メッシュ方式を開発した。 私たちのモデルで生成されたコンパクトメッシュは、モバイルデバイス上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2024-02-19T18:59:41Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• PDF: Point Diffusion Implicit Function for Large-scale Scene Neural Representation [24.751481680565803]
  大規模シーンニューラル表現のためのポイント暗黙関数(PDF)を提案する。 本手法のコアは大規模クラウド超解像拡散モジュールである。 Mip-NeRF 360に基づく領域サンプリングを用いて背景表現をモデル化する。
  論文  参考訳（メタデータ） (2023-11-03T08:19:47Z)
• Online Neural Path Guiding with Normalized Anisotropic Spherical Gaussians [20.68953631807367]
  1つの小さなニューラルネットワークを用いて空間変動密度モデルを学習するための新しいオンラインフレームワークを提案する。 我々のフレームワークは、段階的に分布を学習し、ウォームアップフェーズは不要である。
  論文  参考訳（メタデータ） (2023-03-11T05:22:42Z)
• AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields [8.214695794896127]
  新たなビュー合成は、スパース観測から直接神経放射場を学習することで、近年革新されている。 この新たなパラダイムによる画像のレンダリングは、ボリュームレンダリング方程式の正確な4分の1は、各光線に対して大量のサンプルを必要とするため、遅い。 本稿では,必要なサンプル点数を最大限に削減する方法を学習し,方向性を示す新しいデュアルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-21T05:59:13Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Neural Point Light Fields [80.98651520818785]
  本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。 これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
  論文  参考訳（メタデータ） (2021-12-02T18:20:10Z)
• NeuSample: Neural Sample Field for Efficient View Synthesis [129.10351459066501]
  本稿では,ニューラルサンプル場を命名する軽量モジュールを提案する。 提案したサンプルフィールドは、線をサンプル分布にマッピングし、点座標に変換し、ボリュームレンダリングのために放射場に供給することができる。 我々はNeuSampleが高速な推論速度を保ちながら、NeRFよりも優れたレンダリング品質を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-30T16:43:49Z)
• Learning Neural Transmittance for Efficient Rendering of Reflectance Fields [43.24427791156121]
  本稿では,ニューラルリフレクタンスフィールドのレンダリングを高速化する事前計算型ニューラルトランスミッション関数に基づく新しい手法を提案する。 実シーンと合成シーンの結果は、最小の精度で環境マップ下でのレンダリングにおいて、ほぼ2桁のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-10-25T21:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。