論文の概要: Compressing Volumetric Radiance Fields to 1 MB

• arxiv url: http://arxiv.org/abs/2211.16386v1
• Date: Tue, 29 Nov 2022 17:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 16:49:29.986454
• Title: Compressing Volumetric Radiance Fields to 1 MB
• Title（参考訳）: 体積放射場を1MBに圧縮する
• Authors: Lingzhi Li, Zhen Shen, Zhongshu Wang, Li Shen, Liefeng Bo
• Abstract要約: 体積格子による放射界の近似は、NeRFを改善する上で有望な方向の1つである。 本稿では,ベクトル量子化放射場 (VQRF) と呼ばれる,これらの体積グリッドに基づく放射場を圧縮するための,単純で効果的なフレームワークを提案する。 提案手法は,効率的なジョイントチューニング戦略と後処理を組み合わせることで,モデル全体のサイズを1MBに減らし,100$times$の圧縮比を達成できる。
• 参考スコア（独自算出の注目度）: 19.380248980850727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximating radiance fields with volumetric grids is one of promising directions for improving NeRF, represented by methods like Plenoxels and DVGO, which achieve super-fast training convergence and real-time rendering. However, these methods typically require a tremendous storage overhead, costing up to hundreds of megabytes of disk space and runtime memory for a single scene. We address this issue in this paper by introducing a simple yet effective framework, called vector quantized radiance fields (VQRF), for compressing these volume-grid-based radiance fields. We first present a robust and adaptive metric for estimating redundancy in grid models and performing voxel pruning by better exploring intermediate outputs of volumetric rendering. A trainable vector quantization is further proposed to improve the compactness of grid models. In combination with an efficient joint tuning strategy and post-processing, our method can achieve a compression ratio of 100$\times$ by reducing the overall model size to 1 MB with negligible loss on visual quality. Extensive experiments demonstrate that the proposed framework is capable of achieving unrivaled performance and well generalization across multiple methods with distinct volumetric structures, facilitating the wide use of volumetric radiance fields methods in real-world applications. Code Available at \url{https://github.com/AlgoHunt/VQRF}
• Abstract（参考訳）: 超高速なトレーニング収束とリアルタイムレンダリングを実現する Plenoxels や DVGO などの手法で表現された NeRF を改善する上で, 体積格子による放射界の近似は有望な方向の1つである。 しかし、これらのメソッドは通常、巨大なストレージオーバーヘッドを必要とし、単一のシーンで数百メガバイトのディスク空間とランタイムメモリを消費する。 本稿では,ベクトル量子化放射場(vector quantized radiance fields, vqrf)と呼ばれる簡易かつ有効なフレームワークを導入することで,この問題に対処した。 まず、グリッドモデルの冗長性を推定し、ボリュームレンダリングの中間出力をよりよく探索することでボクセルプラニングを行うためのロバストで適応的なメトリックを提案する。 訓練可能なベクトル量子化はグリッドモデルのコンパクト性を改善するためにさらに提案される。 提案手法は,効率的なジョイントチューニング戦略と後処理を組み合わせることで,全体のモデルサイズを1MBに減らし,視覚的品質を損なうことなく,100$\times$の圧縮比を達成できる。 大規模実験により,提案フレームワークは,異なる体積構造を持つ複数の手法にまたがって,非分散性能と高い一般化を実現し,実世界の応用における体積放射場法を広く活用できることが実証された。 コードは \url{https://github.com/algohunt/vqrf} で利用可能

関連論文リスト

• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• PyNeRF: Pyramidal Neural Radiance Fields [51.25406129834537]
  本研究では,異なる空間グリッド解像度でモデルヘッドを訓練することにより,グリッドモデルへの簡単な修正を提案する。 レンダリング時には、単に粗いグリッドを使用して、より大きなボリュームをカバーするサンプルをレンダリングします。 Mip-NeRFと比較して、60倍高速なトレーニングをしながらエラー率を20%削減する。
  論文  参考訳（メタデータ） (2023-11-30T23:52:46Z)
• ECRF: Entropy-Constrained Neural Radiance Fields Compression with Frequency Domain Optimization [5.990671011715725]
  明示的な機能グリッドベースのNeRFモデルは、レンダリング品質とトレーニングにおける大幅なスピードアップの点で、有望な結果を示している。 本稿では,周波数領域におけるエントロピーの最小化を目的とした圧縮モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-23T21:23:52Z)
• Adaptive Shells for Efficient Neural Radiance Field Rendering [92.18962730460842]
  本稿では, 表面および表面のレンダリングを円滑に遷移させるニューラル放射率の定式化を提案する。 我々の手法は、非常に高い忠実度で効率的なレンダリングを可能にする。 また,抽出したエンベロープは,アニメーションやシミュレーションなどの下流アプリケーションを可能にすることを示す。
  論文  参考訳（メタデータ） (2023-11-16T18:58:55Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Compact Real-time Radiance Fields with Neural Codebook [32.856346090347174]
  本稿では,圧縮手法の観点から,コンパクトな放射場を追求する枠組みを提案する。 グリッドモデルに現れる固有の特性を利用することで、モデルの複雑さを著しく低減するために、一様でない圧縮ステムを開発する。 我々のアプローチは、競争力のあるレンダリング品質を持つグリッドモデルのストレージを40ドル以上削減できる。
  論文  参考訳（メタデータ） (2023-05-29T15:49:20Z)
• Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
  近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。 もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。 本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:56:45Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。