論文の概要: WavePlanes: A compact Wavelet representation for Dynamic Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2312.02218v3
- Date: Wed, 8 May 2024 13:24:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 19:00:52.750736
- Title: WavePlanes: A compact Wavelet representation for Dynamic Neural Radiance Fields
- Title（参考訳）: WavePlanes: 動的ニューラルラジアンス場のためのコンパクトウェーブレット表現
- Authors: Adrian Azzarelli, Nantheera Anantrasirichai, David R Bull,
- Abstract要約: 本稿では,高速かつコンパクトな明示的モデルであるWavePlanesについて述べる。
Nレベル2次元ウェーブレット係数を用いたマルチスケール空間および時空間特徴平面表現を提案する。
ウェーブレット係数の間隔を計算し、ハッシュマップを用いてモデルを圧縮する。
- 参考スコア（独自算出の注目度）: 9.158626732325915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic Neural Radiance Fields (Dynamic NeRF) enhance NeRF technology to model moving scenes. However, they are resource intensive and challenging to compress. To address these issues, this paper presents WavePlanes, a fast and more compact explicit model. We propose a multi-scale space and space-time feature plane representation using N-level 2-D wavelet coefficients. The inverse discrete wavelet transform reconstructs feature signals at varying detail, which are linearly decoded to approximate the color and density of volumes in a 4-D grid. Exploiting the sparsity of wavelet coefficients, we compress the model using a Hash Map containing only non-zero coefficients and their locations on each plane. Compared to the state-of-the-art (SotA) plane-based models, WavePlanes is up to 15x smaller while being less resource demanding and competitive in performance and training time. Compared to other small SotA models WavePlanes preserves details better without requiring custom CUDA code or high performance computing resources. Our code is available at: https://github.com/azzarelli/waveplanes/
- Abstract（参考訳）: Dynamic Neural Radiance Fields (Dynamic NeRF)は、移動シーンをモデル化するためのNeRF技術を強化する。
しかし、それらは資源集約的で圧縮が難しい。
本稿では,これらの問題に対処するために,高速でコンパクトな明示的モデルであるWavePlanesを提案する。
Nレベル2次元ウェーブレット係数を用いたマルチスケール空間および時空間特徴平面表現を提案する。
逆離散ウェーブレット変換は、4次元グリッドにおける体積の色と密度を近似するために線形デコードされた特徴信号を様々な詳細で再構成する。
ウェーブレット係数の間隔を計算し、非ゼロ係数と各平面上の位置のみを含むハッシュマップを用いてモデルを圧縮する。
最先端(SotA)プレーンベースモデルと比較すると、WavePlanesは最大15倍小さくなり、リソースの需要も少なく、性能やトレーニング時間も競争力がある。
他の小さなSotAモデルと比較すると、WavePlanesはカスタムCUDAコードや高性能コンピューティングリソースを必要とせずに詳細を保存できる。
私たちのコードは、https://github.com/azzarelli/waveplanes/で利用可能です。
関連論文リスト
- Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings [15.2983201224858]
大規模3次元生成モデルは計算資源を必要とするが、細部や複雑な地形を高解像度で捉えるには不足することが多い。
我々はウェーブレット遅延拡散(WaLa)と呼ばれる新しい手法を導入し、3次元形状をコンパクトな潜時符号化に符号化する。
具体的には、2563ドルの符号付き距離場を123倍の遅延格子に圧縮し、2427倍の圧縮比を達成した。
我々のモデルは条件付きと無条件の両方で、約10億のパラメータを含み、高品質な3D形状を2563$で生成することに成功した。
論文 参考訳（メタデータ） (2024-11-12T18:49:06Z) - UDiFF: Generating Conditional Unsigned Distance Fields with Optimal Wavelet Diffusion [51.31220416754788]
UDiFFは非符号距離場(UDF)の3次元拡散モデルであり,テキスト条件や非条件条件から開面を有するテクスチャ化された3次元形状を生成することができる。
我々のキーとなるアイデアは、UDF生成のためのコンパクトな表現空間を生成する最適なウェーブレット変換を用いて、空間周波数領域でUDFを生成することである。
論文 参考訳（メタデータ） (2024-04-10T09:24:54Z) - Make-A-Shape: a Ten-Million-scale 3D Shape Model [52.701745578415796]
本稿では,大規模な効率的なトレーニングを目的とした新しい3次元生成モデルであるMake-A-Shapeを紹介する。
まずウェーブレットツリー表現を革新し、サブバンド係数フィルタリングスキームを定式化して形状をコンパクトに符号化する。
我々は、粗いウェーブレット係数の生成を効果的に学習するために、我々のモデルを訓練するためのサブバンド適応型トレーニング戦略を導出する。
論文 参考訳（メタデータ） (2024-01-20T00:21:58Z) - Surf-D: Generating High-Quality Surfaces of Arbitrary Topologies Using Diffusion Models [83.35835521670955]
Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。
非符号距離場(UDF)を曲面表現として用いて任意の位相を許容する。
また、ポイントベースのAutoEncoderを用いて、UDFを正確に符号化するためのコンパクトで連続的な潜在空間を学習する新しいパイプラインを提案する。
論文 参考訳（メタデータ） (2023-11-28T18:56:01Z) - Spatial-Frequency U-Net for Denoising Diffusion Probabilistic Models [89.76587063609806]
画素空間の代わりにウェーブレット空間における拡散確率モデル(DDPM)を視覚合成のために検討した。
ウェーブレット信号を明示的にモデル化することで、我々のモデルは複数のデータセット上でより高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2023-07-27T06:53:16Z) - Efficient Large-scale Scene Representation with a Hybrid of
High-resolution Grid and Plane Features [44.25307397334988]
大規模シーンモデリングのための既存のニューラルレイディアンスフィールド(NeRF)法は、複数のGPUを用いたトレーニングの日数を必要とする。
我々は,3次元ハッシュグレードと高分解能2次元高密度平面特徴を融合したNeRFの高速ハイブリッド特徴表現を提案する。
このハイブリッド表現に基づいて,コンパクトなモデルサイズを維持しつつ,より優れたレンダリング結果が得られるGP-NeRFと呼ばれる高速最適化NeRF変種を提案する。
論文 参考訳（メタデータ） (2023-03-06T10:04:50Z) - K-Planes: Explicit Radiance Fields in Space, Time, and Appearance [32.78595254330191]
任意の次元の放射場に対するホワイトボックスモデルであるk平面を導入する。
我々のモデルは、D次元のシーンを表現するためにd choose 2平面を使用し、静的なシーンからダイナミックなシーンへシームレスな方法を提供します。
合成され、リアルで、静的で、動的で、固定され、様々な外観シーンにおいて、k面は競争力があり、しばしば最先端の復元忠実さをもたらす。
論文 参考訳（メタデータ） (2023-01-24T18:59:08Z) - Wave-ViT: Unifying Wavelet and Transformers for Visual Representation
Learning [138.29273453811945]
マルチスケールビジョントランス (ViT) はコンピュータビジョンタスクの強力なバックボーンとして登場した。
本稿では,ウェーブレット変換と自己注意学習を用いて,可逆的なダウンサンプリングを定式化する新しいウェーブレットビジョン変換器(textbfWave-ViT)を提案する。
論文 参考訳（メタデータ） (2022-07-11T16:03:51Z) - WaveMix: A Resource-efficient Neural Network for Image Analysis [3.4927288761640565]
WaveMixはリソース効率が高く、汎用的でスケーラブルです。
ネットワークは、最先端の畳み込みニューラルネットワークと同等またはより正確な精度を達成する。
WaveMixはCityscapesのセグメンテーションのための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2022-05-28T09:08:50Z) - RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。
本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-15T12:31:27Z) - High-Fidelity and Low-Latency Universal Neural Vocoder based on
Multiband WaveRNN with Data-Driven Linear Prediction for Discrete Waveform
Modeling [38.828260316517536]
本稿では、離散波形モデリング(MWDLP)のためのデータ駆動線形予測を用いたマルチバンドWaveRNNに基づく新しいユニバーサルニューラルネットワークボコーダフレームワークを提案する。
提案したMWDLPフレームワークは、クリーンでノイズの多い残響条件を含む300人の話者のトレーニングデータに対して、見知らぬ話者や/または言語に対して高忠実な合成音声を生成することを示す。
論文 参考訳（メタデータ） (2021-05-20T16:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。