論文の概要: IDF++: Analyzing and Improving Integer Discrete Flows for Lossless Compression

• arxiv url: http://arxiv.org/abs/2006.12459v2
• Date: Tue, 23 Mar 2021 09:40:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:12:57.953399
• Title: IDF++: Analyzing and Improving Integer Discrete Flows for Lossless Compression
• Title（参考訳）: IDF++: ロスレス圧縮のための整数離散フローの解析と改善
• Authors: Rianne van den Berg, Alexey A. Gritsenko, Mostafa Dehghani, Casper Kaae S{\o}nderby, Tim Salimans
• Abstract要約: 離散フローは整数値の確率変数に対する可逆変換を学習するモデルのクラスである。 我々は、異なるアーキテクチャ修正が、損失のない圧縮のために、このモデルクラスの性能をいかに改善するかを示す。
• 参考スコア（独自算出の注目度）: 20.162897999101716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we analyse and improve integer discrete flows for lossless compression. Integer discrete flows are a recently proposed class of models that learn invertible transformations for integer-valued random variables. Their discrete nature makes them particularly suitable for lossless compression with entropy coding schemes. We start by investigating a recent theoretical claim that states that invertible flows for discrete random variables are less flexible than their continuous counterparts. We demonstrate with a proof that this claim does not hold for integer discrete flows due to the embedding of data with finite support into the countably infinite integer lattice. Furthermore, we zoom in on the effect of gradient bias due to the straight-through estimator in integer discrete flows, and demonstrate that its influence is highly dependent on architecture choices and less prominent than previously thought. Finally, we show how different architecture modifications improve the performance of this model class for lossless compression, and that they also enable more efficient compression: a model with half the number of flow layers performs on par with or better than the original integer discrete flow model.
• Abstract（参考訳）: 本稿では、無損失圧縮のための整数離散フローの解析と改善を行う。 整数離散フローは、最近提案された整数値確率変数の可逆変換を学習するモデルのクラスである。 その離散的な性質は、エントロピー符号化スキームによるロスレス圧縮に特に適している。 離散確率変数に対する可逆フローは、連続する変数よりも柔軟性が低いという最近の理論的な主張を考察することから始める。 有限サポートを持つデータの可算無限整数格子への埋め込みにより、この主張が整数離散フローに対して成立しないことを示す。 さらに,整数離散流れにおけるストレートスルー推定子による勾配バイアスの影響をズームインし,その影響がアーキテクチャの選択に大きく依存し,従来考えられていたよりも顕著ではないことを示す。 最後に、異なるアーキテクチャの変更が、ロスレス圧縮のためのこのモデルクラスのパフォーマンスをどのように改善するかを示し、より効率的な圧縮を可能にするかを示す:フロー層の半分のモデルが、元の整数離散フローモデルと同等かそれ以上の性能を発揮する。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Simple Cycle Reservoirs are Universal [0.358439716487063]
  貯留層モデル(Reservoir model)は、トレーニング不能な入力と動的結合重みを固定したリカレントニューラルネットワークのサブクラスを形成する。 制限のない線形貯水池系を普遍的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:35:59Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Convolutional Persistence Transforms [0.6526824510982802]
  我々は、画像やラベル付きグラフなど、単純な複合体上で定義されたデータのデファチュアライズについて検討する。 結果として生じる畳み込みの永続図は、モチーフが単体複合体に分散される方法を記述している。
  論文  参考訳（メタデータ） (2022-08-03T14:37:50Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• iVPF: Numerical Invertible Volume Preserving Flow for Efficient Lossless Compression [21.983560104199622]
  近年急速に成長しているビッグデータを保存することは、高性能な圧縮技術を必要とする。 本論文では,一般体積保存フローから導出した数値逆体積保存フロー(iVPF)計算を提案する。 様々なデータセットの実験により、iVPFに基づくアルゴリズムは、軽量圧縮アルゴリズムよりも最先端圧縮比を達成することが示された。
  論文  参考訳（メタデータ） (2021-03-30T09:50:58Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
  有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。 我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。 我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
  論文  参考訳（メタデータ） (2020-02-06T22:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。