論文の概要: PlenOctrees for Real-time Rendering of Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2103.14024v1
- Date: Thu, 25 Mar 2021 17:59:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 15:21:33.819801
- Title: PlenOctrees for Real-time Rendering of Neural Radiance Fields
- Title（参考訳）: ニューラルネットワークのリアルタイムレンダリングのためのPlenOctrees
- Authors: Alex Yu, Ruilong Li, Matthew Tancik, Hao Li, Ren Ng, Angjoo Kanazawa
- Abstract要約: ニューラルラジアンスフィールド(NeRF)をリアルタイムにレンダリングする手法として,Octreeベースの3D表現であるPlenOctreesを提案する。
従来のNeRFよりも3000倍以上高速な150FPS以上の800x800画像のレンダリングが可能です。
- 参考スコア（独自算出の注目度）: 35.58442869498845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a method to render Neural Radiance Fields (NeRFs) in real time
using PlenOctrees, an octree-based 3D representation which supports
view-dependent effects. Our method can render 800x800 images at more than 150
FPS, which is over 3000 times faster than conventional NeRFs. We do so without
sacrificing quality while preserving the ability of NeRFs to perform
free-viewpoint rendering of scenes with arbitrary geometry and view-dependent
effects. Real-time performance is achieved by pre-tabulating the NeRF into a
PlenOctree. In order to preserve view-dependent effects such as specularities,
we factorize the appearance via closed-form spherical basis functions.
Specifically, we show that it is possible to train NeRFs to predict a spherical
harmonic representation of radiance, removing the viewing direction as an input
to the neural network. Furthermore, we show that PlenOctrees can be directly
optimized to further minimize the reconstruction loss, which leads to equal or
better quality compared to competing methods. Moreover, this octree
optimization step can be used to reduce the training time, as we no longer need
to wait for the NeRF training to converge fully. Our real-time neural rendering
approach may potentially enable new applications such as 6-DOF industrial and
product visualizations, as well as next generation AR/VR systems. PlenOctrees
are amenable to in-browser rendering as well; please visit the project page for
the interactive online demo, as well as video and code:
https://alexyu.net/plenoctrees
- Abstract（参考訳）: ビュー依存効果をサポートするオクツリーベースの3D表現であるPlenOctreesを用いて,NeRFをリアルタイムに描画する手法を提案する。
提案手法では,従来のNeRFの3000倍以上の速度で,150FPS以上の800×800画像をレンダリングすることができる。
我々は、任意の幾何学とビュー依存効果を持つシーンの自由視点レンダリングを行うNeRFの能力を保ちながら、品質を犠牲にすることなく行う。
リアルタイム性能は、NeRFをPlenOctreeにプリタブすることで達成される。
スペキュラリティなどのビュー依存効果を保存するため、閉じた形状の球面基底関数によって外観を分解する。
具体的には、NeRFをトレーニングして放射率の球面調和表現を予測できることを示し、ニューラルネットワークへの入力として観測方向を除去する。
さらに, plenoctrees は, コンストラクション損失を最小化するために, 直接的に最適化できることを示した。
さらに、このオクツリー最適化ステップは、NeRFトレーニングが完全に収束するまで待つ必要がなくなるため、トレーニング時間を短縮するために使用することができます。
当社のリアルタイムニューラルネットワークレンダリングアプローチは、6-DOF産業用や製品視覚化、次世代のAR/VRシステムといった新しいアプリケーションを可能にする可能性がある。
PlenOctreesはブラウザ内レンダリングにも適しており、インタラクティブなオンラインデモやビデオやコードのプロジェクトページを参照してほしい。
関連論文リスト
- NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - PyNeRF: Pyramidal Neural Radiance Fields [51.25406129834537]
本研究では,異なる空間グリッド解像度でモデルヘッドを訓練することにより,グリッドモデルへの簡単な修正を提案する。
レンダリング時には、単に粗いグリッドを使用して、より大きなボリュームをカバーするサンプルをレンダリングします。
Mip-NeRFと比較して、60倍高速なトレーニングをしながらエラー率を20%削減する。
論文 参考訳（メタデータ） (2023-11-30T23:52:46Z) - Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D
Scene Representations [34.836151514152746]
本研究では,自動エンコーダとNeRFを組み合わせることで,遅延特徴を描画し,畳み込み復号する手法を提案する。
結果として、潜在空間のNeRFは、標準色空間のNeRFよりも高品質で新しいビューを生成することができる。
AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、性能をわずかに低下させるだけで13倍以上高速なレンダリングを実現できます。
論文 参考訳（メタデータ） (2023-10-27T03:52:08Z) - SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with
Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。
我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。
上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文 参考訳（メタデータ） (2023-09-07T18:02:57Z) - SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic
Reconstruction of Indoor Scenes [17.711755550841385]
SLAMに基づく手法は、3Dシーンの形状をリアルタイムで段階的に再構成することができるが、フォトリアリスティックな結果を描画することはできない。
NeRFベースの手法は、将来有望な新しいビュー合成結果を生成し、その長いオフライン最適化時間と幾何的制約の欠如は、オンライン入力を効率的に処理する上での課題となる。
本稿では、フレキシブルでスケーラブルなニューラルサーベイル表現を用いて、入力画像から幾何学的属性と外観特徴を抽出するSurfelNeRFを紹介する。
論文 参考訳（メタデータ） (2023-04-18T13:11:49Z) - R2L: Distilling Neural Radiance Field to Neural Light Field for
Efficient Novel View Synthesis [76.07010495581535]
一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。
NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。
ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
論文 参考訳（メタデータ） (2022-03-31T17:57:05Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳（メタデータ） (2022-03-21T18:56:35Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2021-12-20T17:40:48Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z) - Baking Neural Radiance Fields for Real-Time View Synthesis [41.07052395570522]
我々は、NeRFをトレーニングし、プリコンプリートし、保存する(すなわち)方法を提案する。
「ベイク」はスパースニューラルネットワーク放射格子(snerg)と呼ばれる新しい表現である。
結果として生じるシーン表現は、細かい幾何学的詳細とビュー依存の外観をレンダリングするNeRFの能力を保持し、コンパクトであり、リアルタイムでレンダリングすることができる。
論文 参考訳（メタデータ） (2021-03-26T17:59:52Z) - FastNeRF: High-Fidelity Neural Rendering at 200FPS [17.722927021159393]
我々は,ハイエンドGPU上で200Hzの高忠実度画像をレンダリングするシステムであるFastNeRFを提案する。
提案手法は、元のNeRFアルゴリズムよりも3000倍高速で、NeRFを加速する既存の作業よりも少なくとも1桁高速である。
論文 参考訳（メタデータ） (2021-03-18T17:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。