論文の概要: Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time
- arxiv url: http://arxiv.org/abs/2202.08614v1
- Date: Thu, 17 Feb 2022 11:57:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 19:43:19.679100
- Title: Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time
- Title（参考訳）: 動的放射場レンダリングのためのFourier PlenOctrees
- Authors: Liao Wang, Jiakai Zhang, Xinhang Liu, Fuqiang Zhao, Yanshun Zhang,
Yingliang Zhang, Minye Wu, Lan Xu and Jingyi Yu
- Abstract要約: Neural Radiance Field (NeRF)のような暗黙の神経表現は、主にマルチビュー設定下でキャプチャされた静的オブジェクトのモデリングに焦点を当てている。
本稿では,FVV(Fourier PlenOctree)技術を用いて,FVV(Fourier PlenOctree)設定下で撮影した動的シーンの効率的なニューラルモデリングとリアルタイムレンダリングを実現する。
提案手法は,元のNeRFよりも3000倍高速で,SOTAよりも1桁の加速速度を持つことを示す。
- 参考スコア（独自算出の注目度）: 43.0484840009621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Implicit neural representations such as Neural Radiance Field (NeRF) have
focused mainly on modeling static objects captured under multi-view settings
where real-time rendering can be achieved with smart data structures, e.g.,
PlenOctree. In this paper, we present a novel Fourier PlenOctree (FPO)
technique to tackle efficient neural modeling and real-time rendering of
dynamic scenes captured under the free-view video (FVV) setting. The key idea
in our FPO is a novel combination of generalized NeRF, PlenOctree
representation, volumetric fusion and Fourier transform. To accelerate FPO
construction, we present a novel coarse-to-fine fusion scheme that leverages
the generalizable NeRF technique to generate the tree via spatial blending. To
tackle dynamic scenes, we tailor the implicit network to model the Fourier
coefficients of timevarying density and color attributes. Finally, we construct
the FPO and train the Fourier coefficients directly on the leaves of a union
PlenOctree structure of the dynamic sequence. We show that the resulting FPO
enables compact memory overload to handle dynamic objects and supports
efficient fine-tuning. Extensive experiments show that the proposed method is
3000 times faster than the original NeRF and achieves over an order of
magnitude acceleration over SOTA while preserving high visual quality for the
free-viewpoint rendering of unseen dynamic scenes.
- Abstract（参考訳）: Neural Radiance Field (NeRF)のような暗黙の神経表現は主に、PlenOctreeのようなスマートなデータ構造でリアルタイムなレンダリングを実現するマルチビュー設定下でキャプチャされた静的オブジェクトのモデリングに焦点を当てている。
本稿では,FVV(Fourier PlenOctree)技術を用いて,FVV(Fourier PlenOctree)設定下で撮影した動的シーンの効率的なニューラルモデリングとリアルタイムレンダリングを実現する。
我々のFPOにおける鍵となるアイデアは、一般化されたNeRF、PlenOctree表現、体積融合、フーリエ変換の新たな組み合わせである。
fpo構築を加速するために, 一般化したnerf技術を用いて空間的ブレンドにより木を生成できる新しい粗粒間融合スキームを提案する。
動的シーンに取り組むために、暗黙のネットワークを調整し、時間軸密度と色属性のフーリエ係数をモデル化する。
最後に、FPOを構築し、動的列の合同PlenOctree構造の葉に直接フーリエ係数を訓練する。
結果,FPOは動的オブジェクトの処理にコンパクトなメモリオーバーロードを実現し,高速な微調整をサポートすることを示す。
大規模な実験により,提案手法は元のNeRFの3000倍の速度でSOTAよりも桁違いの加速を実現し,非表示ダイナミックシーンの自由視点レンダリングに高い視覚的品質を保っていることがわかった。
関連論文リスト
- D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳（メタデータ） (2023-12-17T08:30:00Z) - Anisotropic Neural Representation Learning for High-Quality Neural
Rendering [0.0]
本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
論文 参考訳（メタデータ） (2023-11-30T07:29:30Z) - FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees [3.5884936187733403]
Fourier PlenOctreesは動的ニューラルレイディアンス場(NeRF)のリアルタイムレンダリングの効率的な表現であることを示した。
本稿では,これらのアーティファクトの詳細な分析を行い,得られた知見を活用して,改良された表現を提案する。
論文 参考訳（メタデータ） (2023-10-31T17:59:58Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳（メタデータ） (2023-05-24T07:36:47Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳（メタデータ） (2023-04-20T17:59:52Z) - Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
論文 参考訳（メタデータ） (2023-04-10T08:36:00Z) - DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。
実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
論文 参考訳（メタデータ） (2022-05-31T12:13:54Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳（メタデータ） (2022-05-30T17:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。