論文の概要: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float

• arxiv url: http://arxiv.org/abs/2504.11651v2
• Date: Fri, 19 Sep 2025 23:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:44.985674
• Title: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• Title（参考訳）: 70%サイズ、100%精度:ダイナミック長フロートによる効率的なGPU推論のためのロスレスLCM圧縮
• Authors: Tianyi Zhang, Mohsen Hariri, Shaochen Zhong, Vipin Chaudhary, Yang Sui, Xia Hu, Anshumali Shrivastava,
• Abstract要約: 大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
• 参考スコア（独自算出の注目度）: 52.079202872069835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale AI models, such as Large Language Models (LLMs) and Diffusion Models (DMs), have grown rapidly in size, creating significant challenges for efficient deployment on resource-constrained hardware. In this paper, we introduce Dynamic-Length Float (DFloat11), a lossless compression framework that reduces LLM and DM size by 30% while preserving outputs that are bit-for-bit identical to the original model. DFloat11 is motivated by the low entropy in the BFloat16 weight representation of LLMs, which reveals significant inefficiency in the existing storage format. By applying entropy coding, DFloat11 assigns dynamic-length encodings to weights based on frequency, achieving near information-optimal compression without any loss of precision. To facilitate efficient inference with dynamic-length encodings, we develop a custom GPU kernel for fast online decompression. Our design incorporates the following: (i) compact, hierarchical lookup tables (LUTs) that fit within GPU SRAM for efficient decoding, (ii) a two-phase GPU kernel for coordinating thread read/write positions using lightweight auxiliary variables, and (iii) transformer-block-level decompression to minimize latency. Experiments on Llama 3.3, Qwen 3, Mistral 3, FLUX.1, and others validate our hypothesis that DFloat11 achieves around 30% model size reduction while preserving bit-for-bit identical outputs. Compared to a potential alternative of offloading parts of an uncompressed model to the CPU to meet memory constraints, DFloat11 achieves 2.3--46.2x higher throughput in token generation. With a fixed GPU memory budget, DFloat11 enables 5.7--14.9x longer generation lengths than uncompressed models. Notably, our method enables lossless inference of Llama 3.1 405B, an 810GB model, on a single node equipped with 8x80GB GPUs. Our code is available at https://github.com/LeanModels/DFloat11.
• Abstract（参考訳）: 大規模言語モデル(LLMs)や拡散モデル(DMs)といった大規模AIモデルは、急速に規模を拡大し、リソース制約のあるハードウェアに効率的にデプロイするための大きな課題を生み出している。 本稿では,従来のモデルと同じビット・フォー・ビットの出力を保存しながら,LCMとDMサイズを30%削減する非損失圧縮フレームワークであるDynamic-Length Float (DFloat11)を紹介する。 DFloat11は、LLMのBFloat16重み表現の低エントロピーによって動機付けられており、既存のストレージフォーマットでは大きな非効率性を示している。 エントロピー符号化を適用することで、DFloat11は周波数に基づく重み付けに動的長符号化を割り当て、精度を損なうことなく、最適に近い情報圧縮を実現する。 動的長エンコーディングによる効率的な推論を容易にするため,高速オンライン圧縮のためのカスタムGPUカーネルを開発した。 私たちのデザインには以下のものがある。 (i)GPU SRAM内に収まるコンパクトで階層的なルックアップテーブル(LUT)を効率よく復号する。 (II)軽量補助変数を用いたスレッド読み書き位置調整のための2相GPUカーネル、及び 3) 遅延を最小限に抑えるため, 変圧器ブロックレベルの減圧を行う。 Llama 3.3, Qwen 3, Mistral 3, FLUX.1などの実験で、DFloat11はビット対ビットの同一出力を保持しながら約30%のモデルサイズ縮小を達成するという仮説が検証された。 メモリ制約を満たすために、非圧縮モデルの一部をCPUにオフロードする潜在的な代替手段と比較して、DFloat11はトークン生成において2.3-46.2倍高いスループットを達成する。固定されたGPUメモリ予算により、DFloat11は非圧縮モデルよりも5.7-14.9倍長の世代長を可能にする。 特に、8x80GBのGPUを搭載した単一ノード上で、810GBのモデルであるLlama 3.1 405Bのロスレス推論を可能にする。 私たちのコードはhttps://github.com/LeanModels/DFloat11.comから入手可能です。

関連論文リスト

• EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices [3.5240021321113204]
  大きな言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すが、その大きなストレージと計算要求は、エッジデバイスへのデプロイメントを制限している。 本稿では,エントロピー符号化と混合量子化を統合した新しい圧縮フレームワークEntroLLMを提案する。
  論文  参考訳（メタデータ） (2025-05-05T05:42:14Z)
• ZO2: Scalable Zeroth-Order Fine-Tuning for Extremely Large Language Models with Limited GPU Memory [29.245719403159615]
  限られたGPUメモリしか持たないLLMの高効率ゼロオーダー微調整のための新しいフレームワークZO2を提案する。 我々のフレームワークは、CPUとGPU間のデータ交換を合理化するAMPモードにおける革新的な低ビット精度アプローチをサポートしている。
  論文  参考訳（メタデータ） (2025-03-16T21:58:29Z)
• Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference [19.59857352852377]
  大規模言語モデル(LLM)は、急速にサイズを拡大し続けている。 これにより、小さなエッジデバイス上でのLLMの動作の困難さが増した。 本稿では,LLM重みを圧縮形式で格納するHuff-LLMを提案する。
  論文  参考訳（メタデータ） (2025-02-02T21:23:42Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing [10.47214968497857]
  本稿では,低ランク構造を利用した大規模言語モデルの事前学習と微調整を行う高性能手法を提案する。 本手法は精度低下を伴わずに保持できる1.3Xの高速化と2.64Xのモデル圧縮比を実現する。 ファインタニングでは,一般タスクと財務タスクの平均精度が6.3%,24.0%向上した。
  論文  参考訳（メタデータ） (2024-02-21T05:03:17Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
  Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。 これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
  論文  参考訳（メタデータ） (2023-06-05T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。