論文の概要: NeuralZip: Reusable Setup for Fast Lossless Compression

• arxiv url: http://arxiv.org/abs/2610.09916v1
• Date: Wed, 07 Oct 2026 12:06:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.896926
• Title: NeuralZip: Reusable Setup for Fast Lossless Compression
• Title（参考訳）: NeuralZip: 高速なロスレス圧縮のための再利用可能なセットアップ
• Abstract要約: ロスレス圧縮は、浮動小数点値を変更することなく、モデルの重みの保存と移動を減らすことができるが、繰り返し統計解析とコード構成は計算オーバーヘッドを増大させる。 我々は、類似の指数分布でチャンクをグループ化し、ハフマン符号を共有し、満載指数を用いて繰り返し指数を選択的に表現するNeuralZipを紹介する。 この設定は、他の互換性のあるアーキテクチャからプリコンパイルおよび転送可能であり、同様の圧縮比を保ち、セットアップコストを償却する必要がないことを示す。
• 参考スコア（独自算出の注目度）: 13.178011994283457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lossless compression can reduce the storage and movement of model weights without changing their floating-point values, but repeated statistical analysis and code construction add computational overhead. We study whether the statistical structure of exponents can be prepared once and reused. For this, we introduce NeuralZip, which groups chunks with similar exponent distributions, shares Huffman codes, and selectively represents recurring exponent tuples using packed exponents, thereby achieving additional moderate compression ratios. A setup chooses these representations before subsequent encodings, while every encoding still processes the current tensor values. In floating-point model checkpoints, post-setup compression is 1.81-21.33$\times$ faster than the baselines and achieves exact bit-to-bit reconstruction. We show that this setup can be precomputed and transferred from another compatible architecture, preserving similar compression ratios and avoiding the need to amortize setup costs. Therefore, compression adaptation is transferable and reusable. Training checkpoints demonstrate continued reuse as the weights evolve. Finally, GPU experiments reduce active memory usage by up to 27.5$\%$ while reproducing the logits exactly.
• Abstract（参考訳）: ロスレス圧縮は、浮動小数点値を変更することなく、モデルの重みの保存と移動を減らすことができるが、繰り返し統計解析とコード構成は計算オーバーヘッドを増大させる。 本研究では,指数の統計構造を一度用意して再利用できるかどうかを考察する。 そこで我々は,類似した指数分布でチャンクをグループ化し,ハフマン符号を共有し,満載指数を用いて繰り返し指数タプルを選択的に表現するNeuralZipを提案する。 以降のエンコーディングの前に、セットアップがこれらの表現を選択し、すべてのエンコーディングが現在のテンソル値を処理する。 浮動小数点点モデルチェックポイントでは、ポストセット圧縮はベースラインよりも1.81-21.33$\times$で、ビット間の正確な再構成を実現する。 この設定は、他の互換性のあるアーキテクチャからプリコンパイルおよび転送可能であり、同様の圧縮比を保ち、セットアップコストを償却する必要がないことを示す。 したがって、圧縮適応は転送可能で再利用可能である。 トレーニングチェックポイントは、ウェイトが進化するにつれて、継続的な再利用を示しています。 最後に、GPU実験は、ロジットを正確に再現しながら、アクティブメモリ使用量を最大27.5$\%まで削減する。

関連論文リスト

• EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates [5.436122956813992]
  EntroPackはエントロピー符号化された重量圧縮機で、アクティベーションキャリブレーションや微調整なしで任意のターゲットをサポートする。 行正規化された$E_8$格子量子化と格子座標の条件確率モデルを組み合わせる。 オンラインデコードでは、ウェイトカウントとともに成長するレイテンシが追加され、メソッドは計算集約的なワークロードに適している。
  論文  参考訳（メタデータ） (2026-09-28T03:01:09Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Lossless Compression for LLM Tensor Incremental Snapshots [0.0]
  私たちはLanguage Model(LMC)と呼ばれる効果的な圧縮ソリューションを構築します。 LMCの16コア並列実装は、それぞれ2.78 GiB/sと3.76 GiB/sの圧縮および減圧スループットを実現することができる。 このパフォーマンスの向上は、最終的に必要なリソースを削減し、次のエポック前にデータをストレージシステムにコピーする時間を増やすことで、より高い周波数のチェックポイントを可能にします。
  論文  参考訳（メタデータ） (2025-05-14T21:24:14Z)
• BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• TensorCodec: Compact Lossy Compression of Tensors without Strong Data Assumptions [22.937900567884796]
  TENSORCODECは、必ずしも強い入力データ仮定に従わない一般的なテンソルに対する損失圧縮アルゴリズムである。 8つの実世界のデータセットの解析と実験は、TENSORCODECが(a)簡潔であることを示す。 圧縮速度は7.38倍で、同様のリコンストラクションエラーの最大のライバルである。
  論文  参考訳（メタデータ） (2023-09-19T04:48:01Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Partition and Code: learning how to compress graphs [50.29024357495154]
  まず、分割アルゴリズムがグラフを基本構造に分解し、これらを確率分布を学習する小さな辞書の要素にマッピングし、エントロピーエンコーダが表現をビットに変換する。 提案アルゴリズムは,非パラメトリックおよびパラメトリックグラフ圧縮器の異なるファミリーに対して,多種多様な実世界のネットワーク上で定量的に評価し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-07-05T11:41:16Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding [45.66971406567023]
  bits-backは、およその後方と真の後方の間のKLの発散に等しい増加に苦しむ。 より厳密な変動境界からビットバック符号化アルゴリズムを導出することにより、このギャップを取り除く方法を示す。
  論文  参考訳（メタデータ） (2021-02-22T14:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。