論文の概要: Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression

• arxiv url: http://arxiv.org/abs/2203.10897v1
• Date: Mon, 21 Mar 2022 11:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 17:27:52.136245
• Title: Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression
• Title（参考訳）: 効率的なニューラル画像圧縮のための多変量ガウス混合
• Authors: Xiaosu Zhu, Jingkuan Song, Lianli Gao, Feng Zheng, Heng Tao Shen
• Abstract要約: 先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
• 参考スコア（独自算出の注目度）: 151.3826781154146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling latent variables with priors and hyperpriors is an essential problem in variational image compression. Formally, trade-off between rate and distortion is handled well if priors and hyperpriors precisely describe latent variables. Current practices only adopt univariate priors and process each variable individually. However, we find inter-correlations and intra-correlations exist when observing latent variables in a vectorized perspective. These findings reveal visual redundancies to improve rate-distortion performance and parallel processing ability to speed up compression. This encourages us to propose a novel vectorized prior. Specifically, a multivariate Gaussian mixture is proposed with means and covariances to be estimated. Then, a novel probabilistic vector quantization is utilized to effectively approximate means, and remaining covariances are further induced to a unified mixture and solved by cascaded estimation without context models involved. Furthermore, codebooks involved in quantization are extended to multi-codebooks for complexity reduction, which formulates an efficient compression procedure. Extensive experiments on benchmark datasets against state-of-the-art indicate our model has better rate-distortion performance and an impressive $3.18\times$ compression speed up, giving us the ability to perform real-time, high-quality variational image compression in practice. Our source code is publicly available at \url{https://github.com/xiaosu-zhu/McQuic}.
• Abstract（参考訳）: プリエントとハイパープリアーによる潜在変数のモデリングは、変動画像圧縮において不可欠な問題である。 正式には、レートと歪みの間のトレードオフは、プリエントとハイパープリアーが潜在変数を正確に記述している場合に適切に処理される。 現在のプラクティスでは、各変数を個別に処理する。 しかし、ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 これらの結果から,圧縮速度を向上し,並列処理能力を向上する視覚的冗長性が確認された。 これにより、先述した新しいベクトル化の提案が促される。 具体的には,多変量ガウス混合を平均と共分散で推定する。 そして、新しい確率的ベクトル量子化を利用して効果的に近似し、残りの共分散を統一混合にさらに誘導し、文脈モデルに関係のないカスケード推定により解決する。 さらに、量子化に関わるコードブックを複雑性低減のためにマルチコードブックに拡張し、効率的な圧縮手順を定式化する。 最先端技術に対するベンチマークデータセットの大規模な実験により、我々のモデルは速度歪み性能が良く、圧縮速度が3.18\times$3.18\timesアップしていることが示される。 ソースコードは \url{https://github.com/xiaosu-zhu/mcquic} で公開されている。

関連論文リスト

• Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
  分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。 最適化向上の手段として勾配圧縮法が提案されている。 我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
  論文  参考訳（メタデータ） (2024-11-19T22:26:42Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Variable-Rate Learned Image Compression with Multi-Objective Optimization and Quantization-Reconstruction Offsets [8.670873561640903]
  本論文は,すべての潜伏テンソル要素の均一な量子化を行うために,単一量子化ステップサイズを変化させる従来のアプローチに従う。 可変レート圧縮性能を改善するために3つの改良が提案されている。 得られた可変レート圧縮結果から,複数のモデルのトレーニングと比較すると,圧縮性能の低下は無視できるか最小かのどちらかを示す。
  論文  参考訳（メタデータ） (2024-02-29T07:45:02Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
  エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。 我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
  論文  参考訳（メタデータ） (2021-08-17T18:04:06Z)
• Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation [12.009880944927069]
  本稿では,非対称ゲイン変分オートエンコーダ(AG-VAE)の連続速度調整型画像圧縮フレームワークを提案する。 AG-VAEは、一組の利得単位を用いて、1つのモデルの離散レート適応を無視可能な追加計算で達成する。 提案手法は,SOTA学習画像圧縮手法を用いて,従来の画像コーデックよりも質的性能が向上する。
  論文  参考訳（メタデータ） (2020-03-04T11:42:05Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。