論文の概要: Lossless Compression with Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2111.11632v1
• Date: Tue, 23 Nov 2021 03:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 15:19:25.094618
• Title: Lossless Compression with Probabilistic Circuits
• Title（参考訳）: 確率回路による無損失圧縮
• Authors: Anji Liu and Stephan Mandt and Guy Van den Broeck
• Abstract要約: 確率回路 (PC) は、$|p|$計算単位を含むニューラルネットワークのクラスである。 時間複雑性が $mathcalO (log(D) cdot |p|)$ であるような効率的な符号化と復号化スキームを導出する。 従来のPC構造学習パイプラインをスケールアップすることにより、MNISTなどの画像データセットで最先端の結果が得られた。
• 参考スコア（独自算出の注目度）: 42.377045986733776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite extensive progress on image generation, deep generative models are suboptimal when applied to lossless compression. For example, models such as VAEs suffer from a compression cost overhead due to their latent variables that can only be partially eliminated with elaborated schemes such as bits-back coding, resulting in oftentimes poor single-sample compression rates. To overcome such problems, we establish a new class of tractable lossless compression models that permit efficient encoding and decoding: Probabilistic Circuits (PCs). These are a class of neural networks involving $|p|$ computational units that support efficient marginalization over arbitrary subsets of the $D$ feature dimensions, enabling efficient arithmetic coding. We derive efficient encoding and decoding schemes that both have time complexity $\mathcal{O} (\log(D) \cdot |p|)$, where a naive scheme would have linear costs in $D$ and $|p|$, making the approach highly scalable. Empirically, our PC-based (de)compression algorithm runs 5-20x faster than neural compression algorithms that achieve similar bitrates. By scaling up the traditional PC structure learning pipeline, we achieved state-of-the-art results on image datasets such as MNIST. Furthermore, PCs can be naturally integrated with existing neural compression algorithms to improve the performance of these base models on natural image datasets. Our results highlight the potential impact that non-standard learning architectures may have on neural data compression.
• Abstract（参考訳）: 画像生成の大幅な進歩にもかかわらず、ロスレス圧縮に適用すると深い生成モデルは最適となる。 例えば、vaesのようなモデルは、ビットバックコーディングのような精巧なスキームで部分的に排除できる潜在変数のため、圧縮コストのオーバーヘッドに苦しんでいる。 このような問題を克服するため,我々は,効率的な符号化と復号化を可能にするトラクタブル・ロスレス圧縮モデル(PC)を新たに確立した。 これらは$|p|$計算単位を含むニューラルネットワークのクラスであり、$D$特徴次元の任意の部分集合に対する効率的な余分化をサポートし、効率的な算術符号化を可能にする。 我々は、時間複雑性である$\mathcal{o} (\log(d) \cdot |p|)$を持つ効率的な符号化と復号スキームを導出する。 経験的に、pcベースの圧縮アルゴリズムは、同様のビットレートを達成するニューラルネットワークの圧縮アルゴリズムよりも5～20倍高速である。 従来のPC構造学習パイプラインをスケールアップすることにより、MNISTなどの画像データセットで最先端の結果を得た。 さらに、PCは既存のニューラル圧縮アルゴリズムと自然に統合され、自然な画像データセット上でこれらのベースモデルの性能を向上させることができる。 この結果は,非標準学習アーキテクチャがニューラルデータ圧縮に与える影響を浮き彫りにした。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Compression with Bayesian Implicit Neural Representations [16.593537431810237]
  本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。 実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-05-30T16:29:52Z)
• Computationally-Efficient Neural Image Compression with Shallow Decoders [43.115831685920114]
  本稿では,JPEGに類似した浅い,あるいは線形な復号変換を用いることで,復号化複雑性のギャップを解消する。 我々は、より強力なエンコーダネットワークと反復符号化を採用することにより、符号化と復号の間のしばしば非対称な予算を利用する。
  論文  参考訳（メタデータ） (2023-04-13T03:38:56Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• Learning sparse auto-encoders for green AI image coding [5.967279020820772]
  本稿では,メモリフットプリントが小さく,計算能力の少ないCAEを用いた画像圧縮の損失問題に対処する。 制約付きアプローチと新しい構造化スパース学習手法を提案する。 実験結果から,$ell_1,1$制約は最も構造化された近位間隔を提供し,メモリと計算コストの低減を図っている。
  論文  参考訳（メタデータ） (2022-09-09T06:31:46Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder [38.297114268193]
  iFlowは効率的なロスレス圧縮を実現するための新しい方法である。 iFlowは最先端の圧縮比を達成し、他の高性能スキームよりも5倍速くなる。
  論文  参考訳（メタデータ） (2021-11-01T14:15:58Z)
• Learning Scalable $\ell_\infty$-constrained Near-lossless Image Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
  本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。 元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
  論文  参考訳（メタデータ） (2021-03-31T11:53:36Z)
• A flexible, extensible software framework for model compression based on the LC algorithm [10.787390511207683]
  ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。 ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
  論文  参考訳（メタデータ） (2020-05-15T21:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。