論文の概要: DONeRF: Towards Real-Time Rendering of Neural Radiance Fields using Depth Oracle Networks

• arxiv url: http://arxiv.org/abs/2103.03231v1
• Date: Thu, 4 Mar 2021 18:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-07 11:02:37.453543
• Title: DONeRF: Towards Real-Time Rendering of Neural Radiance Fields using Depth Oracle Networks
• Title（参考訳）: DONeRF:depth Oracle Networksを用いたニューラルネットワークのリアルタイムレンダリングに向けて
• Authors: Thomas Neff, Pascal Stadlbauer, Mathias Parger, Andreas Kurz, Chakravarty R. Alla Chaitanya, Anton Kaplanyan, Markus Steinberger
• Abstract要約: DONeRFは、深度オラクルネットワークを第1ステップとし、局所サンプルシェーディングネットワークを光線蓄積用に設計した二重ネットワークである。 我々は1つのGPU上で、レイマーチベースのニューラル表現をインタラクティブなフレームレート(毎秒15フレーム、800x800)でレンダリングした最初の人です。
• 参考スコア（独自算出の注目度）: 6.2444658061424665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent research explosion around Neural Radiance Fields (NeRFs) shows that there is immense potential for implicitly storing scene and lighting information in neural networks, e.g., for novel view generation. However, one major limitation preventing the widespread use of NeRFs is the prohibitive computational cost of excessive network evaluations along each view ray, requiring dozens of petaFLOPS when aiming for real-time rendering on current devices. We show that the number of samples required for each view ray can be significantly reduced when local samples are placed around surfaces in the scene. To this end, we propose a depth oracle network, which predicts ray sample locations for each view ray with a single network evaluation. We show that using a classification network around logarithmically discretized and spherically warped depth values is essential to encode surface locations rather than directly estimating depth. The combination of these techniques leads to DONeRF, a dual network design with a depth oracle network as a first step and a locally sampled shading network for ray accumulation. With our design, we reduce the inference costs by up to 48x compared to NeRF. Using an off-the-shelf inference API in combination with simple compute kernels, we are the first to render raymarching-based neural representations at interactive frame rates (15 frames per second at 800x800) on a single GPU. At the same time, since we focus on the important parts of the scene around surfaces, we achieve equal or better quality compared to NeRF.
• Abstract（参考訳）: 最近のNeural Radiance Fields(NeRF)に関する研究爆発は、新しいビュー生成のためにニューラルネットワークにシーンや照明情報を暗黙的に保存する巨大な可能性を示している。 しかし、NeRFの普及を妨げる大きな制限の1つは、各ビューレイに沿って過度のネットワーク評価を禁止する計算コストであり、現在のデバイスでリアルタイムレンダリングを目指すには数十のPetaFLOPSを必要とします。 現地のサンプルをシーンの表面に配置すると、各ビューレイに必要なサンプル数が大幅に削減できることを示します。 この目的のために,1つのネットワーク評価で各ビューレイのレイサンプル位置を予測できる深度oracleネットワークを提案する。 対数的に離散化され, 球面に歪んだ深度値を含む分類網を用いることは, 深度を直接推定するのではなく, 表面位置を符号化する上で重要であることを示す。 これらの手法を組み合わせることで、深度オラクルネットワークを第1ステップとする二重ネットワーク設計のDONeRFと、局所的な試料シェーディングネットワークによる光線蓄積が実現される。 当社の設計により、NeRFと比較して最大48倍の推論コストを削減します。 市販の推論apiと単純な計算カーネルを組み合わせることで、レイマーチングベースのニューラルネットワーク表現を1つのgpu上でインタラクティブなフレームレート(毎秒15フレーム、800x800)でレンダリングした最初の例です。 同時に、我々は表面周辺のシーンの重要部分に焦点を当てるため、NeRFと同等または良質な品質が得られる。

関連論文リスト

• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• Volume Feature Rendering for Fast Neural Radiance Field Reconstruction [11.05302598034426]
  ニューラルレイディアンス場(NeRF)は、異なる位置と視点から撮影された多視点画像から現実的な新しいビューを合成することができる。 NeRFのレンダリングパイプラインでは、ニューラルネットワークはシーンを独立して表現したり、期待される色や密度のポイントのクエリ可能な特徴ベクトルを変換するために使用される。 提案手法では,まず,まず線の特徴ベクトルを描画し,次にニューラルネットワークにより最終画素色に変換する。
  論文  参考訳（メタデータ） (2023-05-29T06:58:27Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。