論文の概要: WavePlanes: A compact Wavelet representation for Dynamic Neural Radiance
Fields
- arxiv url: http://arxiv.org/abs/2312.02218v2
- Date: Tue, 23 Jan 2024 16:53:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 18:41:52.244102
- Title: WavePlanes: A compact Wavelet representation for Dynamic Neural Radiance
Fields
- Title(参考訳): WavePlanes: 動的ニューラルラジアンス場のためのコンパクトウェーブレット表現
- Authors: Adrian Azzarelli, Nantheera Anantrasirichai, David R Bull
- Abstract要約: Dynamic Neural Radiance Fields (Dynamic NeRF)は、移動シーンをモデル化するためのNeRF技術を強化する。
本稿では,高速かつコンパクトな明示的モデルであるWavePlanesについて述べる。
最先端のプレーンベースモデルと比較すると、WavePlanesは最大15倍小さく、計算負荷が小さく、1時間のトレーニングで同等の結果が得られる。
- 参考スコア(独自算出の注目度): 10.293378616543265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic Neural Radiance Fields (Dynamic NeRF) enhance NeRF technology to
model moving scenes. However, they are resource intensive and challenging to
compress. To address this issue, this paper presents WavePlanes, a fast and
more compact explicit model. We propose a multi-scale space and space-time
feature plane representation using N-level 2-D wavelet coefficients. The
inverse discrete wavelet transform reconstructs N feature signals at varying
detail, which are linearly decoded to approximate the color and density of
volumes in a 4-D grid. Exploiting the sparsity of wavelet coefficients, we
compress a Hash Map containing only non-zero coefficients and their locations
on each plane. This results in a compressed model size of ~12 MB. Compared with
state-of-the-art plane-based models, WavePlanes is up to 15x smaller, less
computationally demanding and achieves comparable results in as little as one
hour of training - without requiring custom CUDA code or high performance
computing resources. Additionally, we propose new feature fusion schemes that
work as well as previously proposed schemes while providing greater
interpretability. Our code is available at:
https://github.com/azzarelli/waveplanes/
- Abstract(参考訳): Dynamic Neural Radiance Fields (Dynamic NeRF)は、移動シーンをモデル化するためのNeRF技術を強化する。
しかし、それらは資源集約的で圧縮が難しい。
本稿では,高速かつコンパクトな明示的モデルであるWavePlanesについて述べる。
Nレベル2次元ウェーブレット係数を用いたマルチスケール空間および時空間特徴平面表現を提案する。
逆離散ウェーブレット変換は、N特徴信号を様々な詳細で再構成し、4次元グリッドにおける体積の色と密度を近似するために線形デコードする。
ウェーブレット係数の間隔を計算し、非ゼロ係数と各平面上の位置のみを含むハッシュマップを圧縮する。
これにより、圧縮されたモデルサイズは ~12 MB になる。
最先端のプレーンベースモデルと比較すると、WavePlanesは最大15倍小さくなり、計算負荷が小さくなり、1時間のトレーニングで同等の結果が得られます。
さらに,従来提案してきたスキームと同様に機能する新しい機能融合スキームを提案し,解釈性も向上した。
私たちのコードは、https://github.com/azzarelli/waveplanes/で利用可能です。
関連論文リスト
- Make-A-Shape: a Ten-Million-scale 3D Shape Model [55.34451258972251]
本稿では,大規模な効率的なトレーニングを目的とした新しい3次元生成モデルであるMake-A-Shapeを紹介する。
まずウェーブレットツリー表現を革新し、サブバンド係数フィルタリングスキームを定式化して形状をコンパクトに符号化する。
我々は、粗いウェーブレット係数の生成を効果的に学習するために、我々のモデルを訓練するためのサブバンド適応型トレーニング戦略を導出する。
論文 参考訳(メタデータ) (2024-01-20T00:21:58Z) - Hi-Map: Hierarchical Factorized Radiance Field for High-Fidelity
Monocular Dense Mapping [51.739466714312805]
ニューラルラジアンス場(NeRF)に基づく新しいモノクリン高密度マッピング手法であるHi-Mapを導入する。
ハイマップは、RGB入力のみを用いた効率的かつ高忠実なマッピングを実現する能力において例外的である。
論文 参考訳(メタデータ) (2024-01-06T12:32:25Z) - ECRF: Entropy-Constrained Neural Radiance Fields Compression with
Frequency Domain Optimization [5.990671011715725]
明示的な機能グリッドベースのNeRFモデルは、レンダリング品質とトレーニングにおける大幅なスピードアップの点で、有望な結果を示している。
本稿では,周波数領域におけるエントロピーの最小化を目的とした圧縮モデルを提案する。
論文 参考訳(メタデータ) (2023-11-23T21:23:52Z) - Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。
既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。
WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
論文 参考訳(メタデータ) (2023-09-07T06:41:15Z) - Spatial-Frequency U-Net for Denoising Diffusion Probabilistic Models [89.76587063609806]
画素空間の代わりにウェーブレット空間における拡散確率モデル(DDPM)を視覚合成のために検討した。
ウェーブレット信号を明示的にモデル化することで、我々のモデルは複数のデータセット上でより高品質な画像を生成することができる。
論文 参考訳(メタデータ) (2023-07-27T06:53:16Z) - Efficient Large-scale Scene Representation with a Hybrid of
High-resolution Grid and Plane Features [44.25307397334988]
大規模シーンモデリングのための既存のニューラルレイディアンスフィールド(NeRF)法は、複数のGPUを用いたトレーニングの日数を必要とする。
我々は,3次元ハッシュグレードと高分解能2次元高密度平面特徴を融合したNeRFの高速ハイブリッド特徴表現を提案する。
このハイブリッド表現に基づいて,コンパクトなモデルサイズを維持しつつ,より優れたレンダリング結果が得られるGP-NeRFと呼ばれる高速最適化NeRF変種を提案する。
論文 参考訳(メタデータ) (2023-03-06T10:04:50Z) - K-Planes: Explicit Radiance Fields in Space, Time, and Appearance [32.78595254330191]
任意の次元の放射場に対するホワイトボックスモデルであるk平面を導入する。
我々のモデルは、D次元のシーンを表現するためにd choose 2平面を使用し、静的なシーンからダイナミックなシーンへシームレスな方法を提供します。
合成され、リアルで、静的で、動的で、固定され、様々な外観シーンにおいて、k面は競争力があり、しばしば最先端の復元忠実さをもたらす。
論文 参考訳(メタデータ) (2023-01-24T18:59:08Z) - Masked Wavelet Representation for Compact Neural Radiance Fields [5.279919461008267]
3Dシーンやオブジェクトを表現するために多層パーセプトロンを使用するには、膨大な計算資源と時間が必要である。
本稿では,データ構造を付加することの利点を損なうことなく,サイズを小さくする方法を提案する。
提案したマスクと圧縮パイプラインにより,2MBのメモリ予算で最先端の性能を実現した。
論文 参考訳(メタデータ) (2022-12-18T11:43:32Z) - RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。
本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-15T12:31:27Z) - High-Fidelity and Low-Latency Universal Neural Vocoder based on
Multiband WaveRNN with Data-Driven Linear Prediction for Discrete Waveform
Modeling [38.828260316517536]
本稿では、離散波形モデリング(MWDLP)のためのデータ駆動線形予測を用いたマルチバンドWaveRNNに基づく新しいユニバーサルニューラルネットワークボコーダフレームワークを提案する。
提案したMWDLPフレームワークは、クリーンでノイズの多い残響条件を含む300人の話者のトレーニングデータに対して、見知らぬ話者や/または言語に対して高忠実な合成音声を生成することを示す。
論文 参考訳(メタデータ) (2021-05-20T16:02:45Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。