論文の概要: R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2203.17261v1
• Date: Thu, 31 Mar 2022 17:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 13:21:46.684367
• Title: R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis
• Title（参考訳）: R2L: 効率的な新しい視点合成のためのニューラル光場への蒸留ニューラルラジアンス場
• Authors: Huan Wang, Jian Ren, Zeng Huang, Kyle Olszewski, Menglei Chai, Yun Fu, Sergey Tulyakov
• Abstract要約: 一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
• 参考スコア（独自算出の注目度）: 76.07010495581535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research explosion on Neural Radiance Field (NeRF) shows the encouraging potential to represent complex scenes with neural networks. One major drawback of NeRF is its prohibitive inference time: Rendering a single pixel requires querying the NeRF network hundreds of times. To resolve it, existing efforts mainly attempt to reduce the number of required sampled points. However, the problem of iterative sampling still exists. On the other hand, Neural Light Field (NeLF) presents a more straightforward representation over NeRF in novel view synthesis -- the rendering of a pixel amounts to one single forward pass without ray-marching. In this work, we present a deep residual MLP network (88 layers) to effectively learn the light field. We show the key to successfully learning such a deep NeLF network is to have sufficient data, for which we transfer the knowledge from a pre-trained NeRF model via data distillation. Extensive experiments on both synthetic and real-world scenes show the merits of our method over other counterpart algorithms. On the synthetic scenes, we achieve 26-35x FLOPs reduction (per camera ray) and 28-31x runtime speedup, meanwhile delivering significantly better (1.4-2.8 dB average PSNR improvement) rendering quality than NeRF without any customized implementation tricks.
• Abstract（参考訳）: 最近のneural radiance field(nerf)の研究は、ニューラルネットワークで複雑なシーンを表現できる可能性を示している。 一つのピクセルをレンダリングするには、NeRFネットワークを何百回もクエリする必要がある。 これを解決するため、既存の取り組みは主に必要なサンプリングポイントの数を減らそうとしている。 しかし、反復サンプリングの問題はまだ残っている。 一方、neural light field(nelf)は、新しいビュー合成において、nerfよりも分かりやすい表現を示す -- ピクセルのレンダリングは、レイマーチングなしで1つのフォワードパスに等しい。 そこで本研究では,光場を効果的に学習するためのMLPネットワーク(88層)を提案する。 このような深層nelfネットワークをうまく学習するための鍵は十分なデータを持つことであり、データ蒸留によって事前学習したnerfモデルから知識を転送することである。 合成シーンと実世界のシーンの両方における大規模な実験は、我々の手法が他のアルゴリズムよりも有益であることを示す。 合成シーンでは、26-35x FLOPsの削減(カメラ1枚あたり)と28-31xのランタイム高速化を実現し、また、カスタマイズされた実装トリックなしで、NeRFよりもはるかに優れた(1.4-2.8dB平均PSNR改善)レンダリング品質を実現した。

関連論文リスト

• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
  メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。 我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
  論文  参考訳（メタデータ） (2023-12-13T13:37:32Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• DONeRF: Towards Real-Time Rendering of Neural Radiance Fields using Depth Oracle Networks [6.2444658061424665]
  DONeRFは、深度オラクルネットワークを第1ステップとし、局所サンプルシェーディングネットワークを光線蓄積用に設計した二重ネットワークである。 我々は1つのGPU上で、レイマーチベースのニューラル表現をインタラクティブなフレームレート(毎秒15フレーム、800x800)でレンダリングした最初の人です。
  論文  参考訳（メタデータ） (2021-03-04T18:55:09Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。