論文の概要: ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories

• arxiv url: http://arxiv.org/abs/2610.14184v1
• Date: Fri, 09 Oct 2026 18:01:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:45:19.577128
• Title: ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories
• Title（参考訳）: ULPack: チェックポイントトラジェクトリの参照コンディションによるロスレス圧縮
• Abstract要約: textbfULPackは、参照指数に順序付き整数残基のエントロピーモデルを条件付けすることで依存を利用する。 textbfULPackはZipNNに対して最大27%、zstd-19に対して21%、FM-Deltaに対して11.5%のストレージを削減している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Studying model training requires checkpoint trajectories, whose storage cost limits temporal resolution. Although adjacent checkpoints are numerically close, existing lossless codecs either operate on XOR bit patterns or ignore trajectory-specific conditional structure. We show that a reference weight's exponent predicts the bit length of its displacement in ordered floating-point space without side information. We introduce \textbf{ULPack}, a lossless codec which exploits this dependence by conditioning entropy models of ordered-integer residuals on the reference exponent. Across bfloat16, float16, and float32 trajectories, ULPack reduces storage by up to 27\% against ZipNN, 21\% against zstd-19, and 11.5\% against FM-Delta. Across two dense trajectories, compression improves as updates shrink and reference conditioning strengthens, while near uniform low-order bits set the remaining compression floor and earlier checkpoints add little information.
• Abstract（参考訳）: モデルトレーニングの研究にはチェックポイントトラジェクトリが必要であり、保存コストは時間分解能を制限する。 隣接するチェックポイントは数値的に近いが、既存のロスレスコーデックはXORビットパターンで動作するか、軌道固有の条件構造を無視している。 基準重みの指数は, 側情報のない順序付き浮動小数点空間における変位のビット長を予測する。 参照指数に順序付き整数残差のエントロピーモデルを条件付けすることで、この依存を利用する無損失コーデックである \textbf{ULPack} を導入する。 bfloat16、float16、float32のトラジェクトリ全体で、ULPackはZipNNに対して最大27\%、zstd-19に対して21\%、FM-Deltaに対して11.5\%のストレージを削減している。 更新の縮小と参照条件の強化により圧縮が向上する一方、均一な低次ビットは残りの圧縮フロアをセットし、初期のチェックポイントはほとんど情報を加えない。

関連論文リスト

• NeuralZip: Reusable Setup for Fast Lossless Compression [13.178011994283457]
  ロスレス圧縮は、浮動小数点値を変更することなく、モデルの重みの保存と移動を減らすことができるが、繰り返し統計解析とコード構成は計算オーバーヘッドを増大させる。 我々は、類似の指数分布でチャンクをグループ化し、ハフマン符号を共有し、満載指数を用いて繰り返し指数を選択的に表現するNeuralZipを紹介する。 この設定は、他の互換性のあるアーキテクチャからプリコンパイルおよび転送可能であり、同様の圧縮比を保ち、セットアップコストを償却する必要がないことを示す。
  論文  参考訳（メタデータ） (2026-10-07T12:06:24Z)
• EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates [5.436122956813992]
  EntroPackはエントロピー符号化された重量圧縮機で、アクティベーションキャリブレーションや微調整なしで任意のターゲットをサポートする。 行正規化された$E_8$格子量子化と格子座標の条件確率モデルを組み合わせる。 オンラインデコードでは、ウェイトカウントとともに成長するレイテンシが追加され、メソッドは計算集約的なワークロードに適している。
  論文  参考訳（メタデータ） (2026-09-28T03:01:09Z)
• Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
  長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。 我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
  論文  参考訳（メタデータ） (2026-07-10T17:18:25Z)
• Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
  高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。 私たちのフレームワークは2つの軽量モジュールで構成されています。 実験では、リアルタイムに競争力のある圧縮性能を示す。
  論文  参考訳（メタデータ） (2026-03-26T10:02:07Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• Lossless Compression for LLM Tensor Incremental Snapshots [0.0]
  私たちはLanguage Model(LMC)と呼ばれる効果的な圧縮ソリューションを構築します。 LMCの16コア並列実装は、それぞれ2.78 GiB/sと3.76 GiB/sの圧縮および減圧スループットを実現することができる。 このパフォーマンスの向上は、最終的に必要なリソースを削減し、次のエポック前にデータをストレージシステムにコピーする時間を増やすことで、より高い周波数のチェックポイントを可能にします。
  論文  参考訳（メタデータ） (2025-05-14T21:24:14Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
  本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。 本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。 我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
  論文  参考訳（メタデータ） (2020-05-14T17:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。