論文の概要: EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates

• arxiv url: http://arxiv.org/abs/2609.34185v1
• Date: Mon, 28 Sep 2026 03:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:07:10.878183
• Title: EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates
• Title（参考訳）: EntroPack: 任意ビットレートにおける高速かつ高精度なエントロピーコード重み圧縮
• Abstract要約: EntroPackはエントロピー符号化された重量圧縮機で、アクティベーションキャリブレーションや微調整なしで任意のターゲットをサポートする。 行正規化された$E_8$格子量子化と格子座標の条件確率モデルを組み合わせる。 オンラインデコードでは、ウェイトカウントとともに成長するレイテンシが追加され、メソッドは計算集約的なワークロードに適している。
• 参考スコア（独自算出の注目度）: 5.436122956813992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight compression helps large neural networks fit deployment memory budgets, but common fixed-width formats offer only coarse storage choices. Entropy coding supports finer rates, yet the achieved size depends on the quantized weight distribution and coding overhead. Exploiting this flexibility requires accurate rate selection and efficient weight reconstruction for inference. We present EntroPack, an entropy-coded weight compressor that supports arbitrary target bitrates without activation calibration or fine-tuning. It combines row-normalized $E_8$ lattice quantization with a conditional probability model of lattice coordinates. Sampled storage estimates select the quantization resolution without repeated full-stream encoding. The final coordinates are entropy-coded in independently decodable tiles, enabling fast, fused symbol decoding and numerical weight reconstruction on the GPU. EntroPack supports floating-point and integer weight containers, such as BF16, FP16, FP8, and INT8, with storage bitrate controlled independently of numerical precision. Online decoding adds latency that grows with weight count, making the method well suited to compute-intensive workloads such as diffusion denoising and Transformer prefill. Experiments demonstrate fast encoding and modest inference overhead in these settings. When compressing the linear-layer weights of the image generator Z-Image-Turbo, EntroPack achieves substantially lower weight and denoiser output errors than fixed-width formats at comparable storage rates, with modest denoising-step overhead. Targeting 4 bits per parameter, it achieves lower weight and denoiser output errors than NF4, including about 24% lower relative $L_2$ weight error, with less storage. Source code is available at https://github.com/modelscope/entropack.
• Abstract（参考訳）: 重み圧縮は、大規模なニューラルネットワークがデプロイメントメモリ予算に適合するのに役立つが、一般的な固定幅フォーマットは、粗いストレージ選択のみを提供する。 エントロピー符号化はより微細なレートをサポートするが、達成されたサイズは量子化された重量分布とコーディングオーバーヘッドに依存する。 この柔軟性を行使するには、正確な速度選択と推論のための効率的な重量再構成が必要である。 本稿では,任意の目標ビットレートをサポートするエントロピー符号化重み圧縮機であるEntroPackについて,アクティベーションキャリブレーションや微調整を行わずに紹介する。 行正規化された$E_8$格子量子化と格子座標の条件確率モデルを組み合わせる。 サンプリングストレージ推定は、フルストリームエンコーディングを繰り返すことなく量子化分解能を選択する。 最終的な座標は独立にデオード可能なタイルでエントロピー符号化され、高速で融合したシンボルデコーディングとGPU上の数値重み付けを可能にする。 EntroPackは、BF16、FP16、FP8、INT8などの浮動小数点および整数重みのコンテナをサポートし、ストレージビットレートは数値的精度とは無関係に制御されている。 オンラインデコーディングでは、ウェイトカウントとともに成長するレイテンシが追加され、拡散デノイングやTransformerプリフィルといった計算集約的なワークロードに適している。 実験ではこれらの設定で高速なエンコーディングと控えめな推論のオーバーヘッドが示される。 イメージジェネレータZ-Image-Turboの線形層重みを圧縮すると、EntroPackは、固定幅フォーマットよりもかなり低い重みとデノイザ出力誤差を同等のストレージレートで達成し、わずかにデノイジングステップのオーバーヘッドを発生させる。 パラメータ毎に4ビットをターゲットとすると、NF4よりも低い重みとデノイザ出力エラーが達成され、約24%低い相対的なL_2$重みエラーと少ないストレージを含む。 ソースコードはhttps://github.com/modelscope/entropack.comで入手できる。

関連論文リスト

• BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression [30.978394138413623]
  BiSCo-LLMは、超低ビットLLM重み圧縮のためのコードブックフリーのバイナリ球面符号化フレームワークである。 報告されたストレージ予算にはバイナリコード、ニューラルデコーダ、プロテクトチャネルペイロード、LoRAアダプタ、メタデータが含まれる。
  論文  参考訳（メタデータ） (2026-07-09T16:17:10Z)
• UltraSketchLLM: Saliency-Driven Sketching for Ultra-Low Bit LLM Compression [2.4253566132113877]
  UltraSketchLLMはインデックスのないスケッチベースのフレームワークで、モデル性能を維持しながら超低ビット圧縮(重量あたり0.5ビットまで)を実現する。 提案手法では,小重量の相対誤差を最小限に抑えるために,AbsMaxMinスケッチを最小にするため,重み付けを優先するための重要空間割り当て,圧縮を意識した微調整のためのストレートスルー推定器を組み込んだ。
  論文  参考訳（メタデータ） (2025-06-08T16:55:42Z)
• EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices [3.5240021321113204]
  大きな言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すが、その大きなストレージと計算要求は、エッジデバイスへのデプロイメントを制限している。 本稿では,エントロピー符号化と混合量子化を統合した新しい圧縮フレームワークEntroLLMを提案する。
  論文  参考訳（メタデータ） (2025-05-05T05:42:14Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Kernel Quantization for Efficient Network Compression [59.55192551370948]
  Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。 重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。 ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
  論文  参考訳（メタデータ） (2020-03-11T08:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。