論文の概要: Distilled Low Rank Neural Radiance Field with Quantization for Light Field Compression

• arxiv url: http://arxiv.org/abs/2208.00164v1
• Date: Sat, 30 Jul 2022 08:19:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 14:27:15.930298
• Title: Distilled Low Rank Neural Radiance Field with Quantization for Light Field Compression
• Title（参考訳）: 光場圧縮のための量子化による希釈低ランクニューラルラジアンス場
• Authors: Jinglei Shi and Christine Guillemot
• Abstract要約: 量子化低ランクニューラルラジアンス場表現に基づく新しい光場圧縮法を提案する。 実験結果から,提案手法は最先端手法と比較して圧縮効率がよいことがわかった。
• 参考スコア（独自算出の注目度）: 47.713262783454596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel light field compression method based on a Quantized Distilled Low Rank Neural Radiance Field (QDLR-NeRF) representation. While existing compression methods encode the set of light field sub-aperture images, our proposed method instead learns an implicit scene representation in the form of a Neural Radiance Field (NeRF), which also enables view synthesis. For reducing its size, the model is first learned under a Low Rank (LR) constraint using a Tensor Train (TT) decomposition in an Alternating Direction Method of Multipliers (ADMM) optimization framework. To further reduce the model size, the components of the tensor train decomposition need to be quantized. However, performing the optimization of the NeRF model by simultaneously taking the low rank constraint and the rate-constrained weight quantization into consideration is challenging. To deal with this difficulty, we introduce a network distillation operation that separates the low rank approximation and the weight quantization in the network training. The information from the initial LR constrained NeRF (LR-NeRF) is distilled to a model of a much smaller dimension (DLR-NeRF) based on the TT decomposition of the LR-NeRF. An optimized global codebook is then learned to quantize all TT components, producing the final QDLRNeRF. Experimental results show that our proposed method yields better compression efficiency compared with state-of-the-art methods, and it additionally has the advantage of allowing the synthesis of any light field view with a high quality.
• Abstract（参考訳）: 本稿では,QDLR-NeRF(Quantized Distilled Low Rank Neural Radiance Field)表現に基づく新しい光場圧縮法を提案する。 既存の圧縮手法は光場サブアパーチャ画像の集合を符号化するが、提案手法は、視線合成を可能にするニューラルレージアンスフィールド(NeRF)の形で暗黙的なシーン表現を学習する。 テンソルトレイン (TT) を分解した低ランク (LR) 制約の下で, 乗算器の交互方向法 (ADMM) の最適化フレームワークを用いてモデルを学習する。 モデルサイズをさらに小さくするには、テンソルトレイン分解の成分を量子化する必要がある。 しかし,低ランク制約と速度制約重み量子化を同時に考慮し,nrfモデルの最適化を行うことは困難である。 このような問題に対処するため,ネットワークトレーニングにおいて低階近似と重み量子化を分離するネットワーク蒸留操作を導入する。 初期LR拘束型NeRF(LR-NeRF)からの情報は、LR-NeRFのTT分解に基づいて、非常に小さな次元(DLR-NeRF)のモデルに蒸留される。 最適化されたグローバルコードブックは、すべてのTTコンポーネントを量子化し、最終的なQDLRNeRFを生成する。 実験の結果,提案手法は最先端の手法と比較して圧縮効率が良く,また,高品質な光界ビューを合成できるという利点があることがわかった。

関連論文リスト

• Rate-aware Compression for NeRF-based Volumetric Video [21.372568857027748]
  放射場(NeRF)は3次元ボリュームビデオ技術の開発を進展させてきた。 既存のソリューションは、トレーニング段階の後にNeRF表現を圧縮し、表現訓練と圧縮を分離する。 本稿では,提案するレートアウェア圧縮フレームワークに基づいて,トレーニング段階におけるボリュームビデオのコンパクトなNeRF表現を直接学習する。
  論文  参考訳（メタデータ） (2024-11-08T04:29:14Z)
• FreqINR: Frequency Consistency for Implicit Neural Representation with Adaptive DCT Frequency Loss [5.349799154834945]
  本稿では、新しい任意スケール超解像法であるFreqINR(FreqINR)について述べる。 トレーニングでは,適応離散コサイン変換周波数損失(adaptive Discrete Cosine Transform Frequency Loss,ADFL)を用いて,HR画像と地絡画像の周波数ギャップを最小化する。 推論の際には,低分解能(LR)画像と地軸画像のスペクトルコヒーレンスを維持するために受容場を拡張した。
  論文  参考訳（メタデータ） (2024-08-25T03:53:17Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• Frequency-Aware Re-Parameterization for Over-Fitting Based Image Compression [12.725194101094711]
  オーバーフィットベースの画像圧縮は、圧縮のための重み付け圧縮と実用のための高速収束を必要とする。 本稿では、重みを減らし収束を加速したCNNを訓練するための簡易な再パラメータ化法を提案する。 提案手法は, HEIF上に最大-46.12%のBDレートを達成し, 200回しか繰り返しない画像復元実験により検証した。
  論文  参考訳（メタデータ） (2023-10-12T06:32:12Z)
• BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields [0.0]
  Inverted Neural Radiance Fields (iNeRF) アルゴリズムの改良を目標とし、画像ポーズ推定問題をNeRFに基づく反復線形最適化として定義する。 NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい空間表現モデルである。
  論文  参考訳（メタデータ） (2023-10-05T14:27:06Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Regularization by Denoising Sub-sampled Newton Method for Spectral CT Multi-Material Decomposition [78.37855832568569]
  スペクトルctを用いたマルチマテリアル画像再構成のためのモデルベース最大後課題の解決法を提案する。 特に,プラグイン画像復号化機能に基づく正規化最適化問題について提案する。 スペクトルct材料分解の数値的および実験的結果を示す。
  論文  参考訳（メタデータ） (2021-03-25T15:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。