論文の概要: Accelerating Relative Entropy Coding with Space Partitioning

• arxiv url: http://arxiv.org/abs/2405.12203v2
• Date: Fri, 24 May 2024 13:45:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 20:07:58.695001
• Title: Accelerating Relative Entropy Coding with Space Partitioning
• Title（参考訳）: 空間分割による相対エントロピー符号化の高速化
• Authors: Jiajun He, Gergely Flamich, José Miguel Hernández-Lobato,
• Abstract要約: 相対エントロピー符号化(REC)アルゴリズムは、ターゲット分布の$Q$に従ってランダムサンプルを符号化する。 RECアルゴリズムは、少なくとも2D_textKL[Q||P]$の順序で、禁止符号化時間に悩まされる。 本稿では,空間分割を利用したREC方式を提案する。
• 参考スコア（独自算出の注目度）: 32.30151436903008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relative entropy coding (REC) algorithms encode a random sample following a target distribution $Q$, using a coding distribution $P$ shared between the sender and receiver. Sadly, general REC algorithms suffer from prohibitive encoding times, at least on the order of $2^{D_{\text{KL}}[Q||P]}$, and faster algorithms are limited to very specific settings. This work addresses this issue by introducing a REC scheme utilizing space partitioning to reduce runtime in practical scenarios. We provide theoretical analyses of our method and demonstrate its effectiveness with both toy examples and practical applications. Notably, our method successfully handles REC tasks with $D_{\text{KL}}[Q||P]$ about three times greater than what previous methods can manage, and reduces the bitrate by approximately 5-15% in VAE-based lossless compression on MNIST and INR-based lossy compression on CIFAR-10, compared to previous methods, significantly improving the practicality of REC for neural compression.
• Abstract（参考訳）: 相対エントロピー符号化(REC)アルゴリズムは、送信者と受信者の間で共有される符号化分布$P$を用いて、ターゲット分布$Q$に続くランダムサンプルを符号化する。 残念なことに、一般的なRECアルゴリズムは、少なくとも$2^{D_{\text{KL}}[Q||P]}$の順序で、符号化時間を禁止している。 本研究は,空間分割を利用したRECスキームを導入して,現実的なシナリオにおけるランタイムの削減を実現する。 提案手法を理論的に解析し,おもちゃの例と実用例でその有効性を実証する。 特に,本手法は,従来の手法よりも約3倍大きなRECタスクをD_{\text{KL}}[Q||P]$で処理し,MNIST上のVAEベースのロスレス圧縮とCIFAR-10上のINRベースのロスリー圧縮の約5～15%のビットレートを低減し,ニューラル圧縮におけるRECの実用性を大幅に向上させる。

関連論文リスト

• Bit-flipping Decoder Failure Rate Estimation for (v,w)-regular Codes [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• Lossy Compression with Gaussian Diffusion [28.930398810600504]
  非条件拡散生成モデルに基づく新しい損失圧縮手法DiffCについて述べる。 エンコーダ変換の欠如にもかかわらず、概念実証を実装し、驚くほどうまく機能することを発見した。 流れに基づく再構築は,祖先サンプリングよりも高頻度で3dBのゲインを達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-17T16:46:31Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding [45.66971406567023]
  bits-backは、およその後方と真の後方の間のKLの発散に等しい増加に苦しむ。 より厳密な変動境界からビットバック符号化アルゴリズムを導出することにより、このギャップを取り除く方法を示す。
  論文  参考訳（メタデータ） (2021-02-22T14:58:01Z)
• Compressing Images by Encoding Their Latent Representations with Relative Entropy Coding [5.687243501594734]
  可変オートエンコーダ(VAE)は学習画像圧縮に広く利用されている。 本稿では,単一の画像に対して相対エントロピーに近い符号長で遅延表現を直接エンコードできる新しい手法であるRelative Entropy Coding (REC)を提案する。
  論文  参考訳（メタデータ） (2020-10-02T20:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。