論文の概要: Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective

• arxiv url: http://arxiv.org/abs/2201.01741v1
• Date: Wed, 5 Jan 2022 18:04:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-06 13:53:14.702008
• Title: Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective
• Title（参考訳）: 非対称数値システム(ANS)によるエントロピー符号化の理解 : 統計学者の視点から
• Authors: Robert Bamler
• Abstract要約: 非対称数値システム(ANS)は最適な圧縮に非常に近づき、ビットバック符号のような高度な圧縮技術を単純化する。 本論文は、潜伏変数モデルの新しい視点から、ANSをより親しみやすくするための教育資源として意図されている。 我々は,Python プログラミング言語における ANS の完全な実装に向けて,読者を段階的にガイドする。
• 参考スコア（独自算出の注目度）: 11.01582936909208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entropy coding is the backbone data compression. Novel machine-learning based compression methods often use a new entropy coder called Asymmetric Numeral Systems (ANS) [Duda et al., 2015], which provides very close to optimal bitrates and simplifies [Townsend et al., 2019] advanced compression techniques such as bits-back coding. However, researchers with a background in machine learning often struggle to understand how ANS works, which prevents them from exploiting its full versatility. This paper is meant as an educational resource to make ANS more approachable by presenting it from a new perspective of latent variable models and the so-called bits-back trick. We guide the reader step by step to a complete implementation of ANS in the Python programming language, which we then generalize for more advanced use cases. We also present and empirically evaluate an open-source library of various entropy coders designed for both research and production use. Related teaching videos and problem sets are available online.
• Abstract（参考訳）: エントロピー符号化はバックボーンデータ圧縮である。 新しい機械学習ベースの圧縮手法は、しばしばAsymmetric Numeral Systems (ANS) [Duda et al., 2015]と呼ばれる新しいエントロピーコーダを使用し、最適なビットレートに非常に近づき、[Townsend et al., 2019]ビットバックコーディングのような高度な圧縮テクニックを単純化する。 しかし、機械学習のバックグラウンドを持つ研究者たちは、ANSがどのように機能するかを理解するのに苦労することが多い。 本論文は,潜在変数モデルといわゆるbits-backの新たな視点から,AISをより親しみやすくするための教育資源として意図されている。 読者は、Pythonプログラミング言語におけるANSの完全な実装にステップバイステップでガイドし、さらに高度なユースケースに対して一般化する。 また,研究用および生産用の両方に設計された様々なエントロピーコーダのオープンソースライブラリを提示し,実証的に評価した。 関連する教育ビデオや問題セットはオンラインで公開されている。

関連論文リスト

• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation [12.013345715187285]
  本稿では,バイナリ概念の学習を容易にし,自動エンコーダにおけるデータ生成の質を向上させるために,二項化正規化を提案する。 提案手法は,既存のモデルを改良して,より伝達可能な表現を学習し,入力分布を表すサンプルをより多く生成できることを実証する。
  論文  参考訳（メタデータ） (2023-03-22T01:45:35Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Benign Autoencoders [0.0]
  我々は最適なエンコーダとデコーダのペアを見つける問題を定式化し、その解を「良性オートエンコーダ」(BAE)と呼ぶ。 我々は、BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明した。 実例として,分散シフト下での識別器の性能を向上させるために,BAEが最適で低次元の潜在表現を見出す方法を示す。
  論文  参考訳（メタデータ） (2022-10-02T21:36:27Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Wideband and Entropy-Aware Deep Soft Bit Quantization [1.7259824817932292]
  広帯域チャネル間のソフトビット量子化のための新しいディープラーニングソリューションを提案する。 本手法は、損失関数に対する量子化およびエントロピー対応の強化により、エンドツーエンドで訓練される。 提案手法は,従来の最先端手法と比較して,高SNR方式で最大10 %の圧縮ゲインを実現する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:05Z)
• Neural Distributed Source Coding [59.630059301226474]
  相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。 提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:50:43Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)
• PHOTONAI -- A Python API for Rapid Machine Learning Model Development [2.414341608751139]
  PHOTONAIは、機械学習モデル開発の簡素化と高速化を目的とした、ハイレベルなPython APIである。 これは統一フレームワークとして機能し、ユーザーは異なるツールボックスからのアルゴリズムをカスタムのアルゴリズムシーケンスに簡単にアクセスし、組み合わせることができる。
  論文  参考訳（メタデータ） (2020-02-13T10:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。