論文の概要: Distilled Low Rank Neural Radiance Field with Quantization for Light
Field Compression
- arxiv url: http://arxiv.org/abs/2208.00164v3
- Date: Thu, 21 Sep 2023 07:28:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 20:26:55.980476
- Title: Distilled Low Rank Neural Radiance Field with Quantization for Light
Field Compression
- Title（参考訳）: 光場圧縮のための量子化による希釈低ランクニューラルラジアンス場
- Authors: Jinglei Shi and Christine Guillemot
- Abstract要約: 本稿では,光場圧縮作業のための量子希薄ニューラルネットワーク(QDLR-NeRF)表現を提案する。
提案手法は,視野合成が可能なニューラルラジアンス場(NeRF)の形で暗黙的なシーン表現を学習する。
実験結果から,提案手法は最先端手法と比較して圧縮効率がよいことがわかった。
- 参考スコア（独自算出の注目度）: 33.08737425706558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose in this paper a Quantized Distilled Low-Rank Neural Radiance Field
(QDLR-NeRF) representation for the task of light field compression. While
existing compression methods encode the set of light field sub-aperture images,
our proposed method learns an implicit scene representation in the form of a
Neural Radiance Field (NeRF), which also enables view synthesis. To reduce its
size, the model is first learned under a Low-Rank (LR) constraint using a
Tensor Train (TT) decomposition within an Alternating Direction Method of
Multipliers (ADMM) optimization framework. To further reduce the model's size,
the components of the tensor train decomposition need to be quantized. However,
simultaneously considering the optimization of the NeRF model with both the
low-rank constraint and rate-constrained weight quantization is challenging. To
address this difficulty, we introduce a network distillation operation that
separates the low-rank approximation and the weight quantization during network
training. The information from the initial LR-constrained NeRF (LR-NeRF) is
distilled into a model of much smaller dimension (DLR-NeRF) based on the TT
decomposition of the LR-NeRF. We then learn an optimized global codebook to
quantize all TT components, producing the final QDLR-NeRF. Experimental results
show that our proposed method yields better compression efficiency compared to
state-of-the-art methods, and it additionally has the advantage of allowing the
synthesis of any light field view with high quality.
- Abstract（参考訳）: 本稿では,光場圧縮の課題に対するQDLR-NeRF(Quantized Distilled Low-Rank Neural Radiance Field)表現を提案する。
既存の圧縮手法は光場サブアパーチャ画像の集合を符号化するが,提案手法はニューラルレージアンスフィールド(NeRF)の形で暗黙的なシーン表現を学習し,ビュー合成を可能にする。
モデルを小さくするために、まず、乗算器(admm)最適化フレームワークの交互方向法においてテンソルトレイン(tt)分解を用いて、低ランク(lr)制約下で学習する。
モデルのサイズをさらに小さくするには、テンソルトレイン分解の成分を量子化する必要がある。
しかし、低ランク制約とレート制約重み量子化の両立によるnrfモデルの最適化を同時に考慮することは困難である。
この課題に対処するために,ネットワークトレーニング中に低ランク近似と重み量子化を分離するネットワーク蒸留操作を導入する。
初期LR拘束型NeRF(LR-NeRF)からの情報は、LR-NeRFのTT分解に基づいて、はるかに小さな次元(DLR-NeRF)のモデルに蒸留される。
そして、最適化されたグローバルコードブックを学び、すべてのTTコンポーネントを定量化し、最終的なQDLR-NeRFを生成する。
実験の結果,本手法は最先端の手法に比べて圧縮効率が良く,かつ,高品質の光視野を合成できるという利点があることがわかった。
関連論文リスト
- Rate-aware Compression for NeRF-based Volumetric Video [21.372568857027748]
放射場(NeRF)は3次元ボリュームビデオ技術の開発を進展させてきた。
既存のソリューションは、トレーニング段階の後にNeRF表現を圧縮し、表現訓練と圧縮を分離する。
本稿では,提案するレートアウェア圧縮フレームワークに基づいて,トレーニング段階におけるボリュームビデオのコンパクトなNeRF表現を直接学習する。
論文 参考訳（メタデータ） (2024-11-08T04:29:14Z) - FreqINR: Frequency Consistency for Implicit Neural Representation with Adaptive DCT Frequency Loss [5.349799154834945]
本稿では、新しい任意スケール超解像法であるFreqINR(FreqINR)について述べる。
トレーニングでは,適応離散コサイン変換周波数損失(adaptive Discrete Cosine Transform Frequency Loss,ADFL)を用いて,HR画像と地絡画像の周波数ギャップを最小化する。
推論の際には,低分解能(LR)画像と地軸画像のスペクトルコヒーレンスを維持するために受容場を拡張した。
論文 参考訳（メタデータ） (2024-08-25T03:53:17Z) - 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。
低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。
本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
論文 参考訳（メタデータ） (2024-06-10T06:06:11Z) - Frequency-Aware Re-Parameterization for Over-Fitting Based Image
Compression [12.725194101094711]
オーバーフィットベースの画像圧縮は、圧縮のための重み付け圧縮と実用のための高速収束を必要とする。
本稿では、重みを減らし収束を加速したCNNを訓練するための簡易な再パラメータ化法を提案する。
提案手法は, HEIF上に最大-46.12%のBDレートを達成し, 200回しか繰り返しない画像復元実験により検証した。
論文 参考訳（メタデータ） (2023-10-12T06:32:12Z) - BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance
Fields [0.0]
Inverted Neural Radiance Fields (iNeRF) アルゴリズムの改良を目標とし、画像ポーズ推定問題をNeRFに基づく反復線形最適化として定義する。
NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい空間表現モデルである。
論文 参考訳（メタデータ） (2023-10-05T14:27:06Z) - R2L: Distilling Neural Radiance Field to Neural Light Field for
Efficient Novel View Synthesis [76.07010495581535]
一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。
NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。
ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
論文 参考訳（メタデータ） (2022-03-31T17:57:05Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2021-12-31T11:56:01Z) - NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。
提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
論文 参考訳（メタデータ） (2021-12-03T07:33:47Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳（メタデータ） (2021-06-09T17:59:10Z) - Regularization by Denoising Sub-sampled Newton Method for Spectral CT
Multi-Material Decomposition [78.37855832568569]
スペクトルctを用いたマルチマテリアル画像再構成のためのモデルベース最大後課題の解決法を提案する。
特に,プラグイン画像復号化機能に基づく正規化最適化問題について提案する。
スペクトルct材料分解の数値的および実験的結果を示す。
論文 参考訳（メタデータ） (2021-03-25T15:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。