論文の概要: Masked Wavelet Representation for Compact Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2212.09069v1
- Date: Sun, 18 Dec 2022 11:43:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 18:35:01.642914
- Title: Masked Wavelet Representation for Compact Neural Radiance Fields
- Title（参考訳）: 小型ニューラルラジアンスフィールドのための仮面ウェーブレット表現
- Authors: Daniel Rho, Byeonghyeon Lee, Seungtae Nam, Joo Chan Lee, Jong Hwan Ko,
Eunbyung Park
- Abstract要約: 3Dシーンやオブジェクトを表現するために多層パーセプトロンを使用するには、膨大な計算資源と時間が必要である。
本稿では,データ構造を付加することの利点を損なうことなく,サイズを小さくする方法を提案する。
提案したマスクと圧縮パイプラインにより,2MBのメモリ予算で最先端の性能を実現した。
- 参考スコア（独自算出の注目度）: 5.279919461008267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance fields (NeRF) have demonstrated the potential of
coordinate-based neural representation (neural fields or implicit neural
representation) in neural rendering. However, using a multi-layer perceptron
(MLP) to represent a 3D scene or object requires enormous computational
resources and time. There have been recent studies on how to reduce these
computational inefficiencies by using additional data structures, such as grids
or trees. Despite the promising performance, the explicit data structure
necessitates a substantial amount of memory. In this work, we present a method
to reduce the size without compromising the advantages of having additional
data structures. In detail, we propose using the wavelet transform on
grid-based neural fields. Grid-based neural fields are for fast convergence,
and the wavelet transform, whose efficiency has been demonstrated in
high-performance standard codecs, is to improve the parameter efficiency of
grids. Furthermore, in order to achieve a higher sparsity of grid coefficients
while maintaining reconstruction quality, we present a novel trainable masking
approach. Experimental results demonstrate that non-spatial grid coefficients,
such as wavelet coefficients, are capable of attaining a higher level of
sparsity than spatial grid coefficients, resulting in a more compact
representation. With our proposed mask and compression pipeline, we achieved
state-of-the-art performance within a memory budget of 2 MB. Our code is
available at https://github.com/daniel03c1/masked_wavelet_nerf.
- Abstract（参考訳）: neural radiance fields(nerf)は、ニューラルネットワークのレンダリングにおいて、座標ベースの神経表現(神経場または暗黙的神経表現)の可能性を実証している。
しかし、3Dシーンやオブジェクトを表現するために多層パーセプトロン(MLP)を使用するには、膨大な計算資源と時間が必要である。
近年,グリッドや木などのデータ構造を付加することで,これらの計算非効率性を低減する方法が研究されている。
有望なパフォーマンスにもかかわらず、明示的なデータ構造は相当量のメモリを必要とする。
本稿では,データ構造の追加による利点を損なうことなく,サイズを小さくする手法を提案する。
本稿では,格子型ニューラルネットワーク上でのウェーブレット変換を提案する。
グリッドベースのニューラルネットワークは高速収束のためのものであり、高性能標準コーデックで効率が実証されたウェーブレット変換は、グリッドのパラメータ効率を改善することである。
さらに,再構成品質を維持しつつグリッド係数のスパース性を高めるために,新しい学習可能なマスキング手法を提案する。
実験の結果,ウェーブレット係数などの非空間的グリッド係数は空間的グリッド係数よりも高いスパルシティを達成でき,よりコンパクトな表現が可能となった。
提案したマスクと圧縮パイプラインにより,2MBのメモリ予算で最先端の性能を実現した。
私たちのコードはhttps://github.com/daniel03c1/masked_wavelet_nerfで利用可能です。
関連論文リスト
- Neural NeRF Compression [19.853882143024]
最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。
これらの表現は、大きなストレージオーバーヘッドをもたらす。
本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T09:12:26Z) - N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。
N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。
本手法は, 視認性, 深度, 外観特性を忠実に近似する。
論文 参考訳（メタデータ） (2024-05-25T13:54:34Z) - SpikingNeRF: Making Bio-inspired Neural Networks See through the Real World [19.696976370895907]
本稿では、スパイキングニューラルネットワーク(SNN)の時間次元を放射光に合わせるスパイキングNeRFを提案する。
計算はスパイクベースで乗算のない方式に変わり、エネルギー消費を減らし、ニューロモルフィックなハードウェアで高品質な3Dレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-09-20T01:04:57Z) - MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。
最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文 参考訳（メタデータ） (2023-04-25T05:44:50Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Efficient bit encoding of neural networks for Fock states [77.34726150561087]
ニューラルネットワークの複雑さは、最大ボソン数ではなくビット符号化されたニューロンの数でしかスケールしない。
高占有状態においては、情報圧縮効率は最大に最適化された密度行列の実装を超えることが示されている。
論文 参考訳（メタデータ） (2021-03-15T11:24:40Z) - Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。
本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。
実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文 参考訳（メタデータ） (2020-06-08T05:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。