論文の概要: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float

• arxiv url: http://arxiv.org/abs/2504.11651v1
• Date: Tue, 15 Apr 2025 22:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:27.735015
• Title: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• Title（参考訳）: 70%サイズ、100%精度:ダイナミック長フロートによる効率的なGPU推論のためのロスレスLCM圧縮
• Authors: Tianyi Zhang, Yang Sui, Shaochen Zhong, Vipin Chaudhary, Xia Hu, Anshumali Shrivastava,
• Abstract要約: 大規模言語モデル(LLM)は急速に規模を拡大し、リソース制約のあるハードウェアに効率的なデプロイを行う上での課題を生み出している。 圧縮フレームワークであるDynamic-Length Float (DFloat11)を導入し、LLMのサイズを30%削減し、元のモデルと同じビット対ビットの出力を保存する。
• 参考スコア（独自算出の注目度）: 71.43026659686679
• License:
• Abstract: Large Language Models (LLMs) have grown rapidly in size, creating significant challenges for efficient deployment on resource-constrained hardware. In this paper, we introduce Dynamic-Length Float (DFloat11), a lossless compression framework that reduces LLM size by 30% while preserving outputs that are bit-for-bit identical to the original model. DFloat11 is motivated by the low entropy in the BFloat16 weight representation of LLMs, which reveals significant inefficiency in existing storage format. By applying entropy coding, DFloat11 assigns dynamic-length encodings to weights based on frequency, achieving near information-optimal compression without any loss of precision. To facilitate efficient inference with dynamic-length encodings, we develop a custom GPU kernel for fast online decompression. Our design incorporates the following: (i) decomposition of memory-intensive lookup tables (LUTs) into compact LUTs that fit in GPU SRAM, (ii) a two-phase kernel for coordinating thread read/write positions using lightweight auxiliary variables, and (iii) transformer-block-level decompression to minimize latency. Experiments on recent models, including Llama-3.1, Qwen-2.5, and Gemma-3, validates our hypothesis that DFloat11 achieves around 30% model size reduction while preserving bit-for-bit exact outputs. Compared to a potential alternative of offloading parts of an uncompressed model to the CPU to meet memory constraints, DFloat11 achieves 1.9-38.8x higher throughput in token generation. With a fixed GPU memory budget, DFloat11 enables 5.3-13.17x longer context lengths than uncompressed models. Notably, our method enables lossless inference of Llama-3.1-405B, an 810GB model, on a single node equipped with 8x80GB GPUs. Our code and models are available at https://github.com/LeanModels/DFloat11.
• Abstract（参考訳）: 大規模言語モデル(LLM)は急速に規模を拡大し、リソース制約のあるハードウェアに効率的にデプロイするための大きな課題を生み出している。 本稿では,従来のモデルと同一のビット対ビットの出力を保存しながら,LLMサイズを30%削減する非損失圧縮フレームワークであるDynamic-Length Float (DFloat11)を紹介する。 DFloat11は、LLMのBFloat16重み表現の低エントロピーによって動機付けられており、既存のストレージフォーマットでは大きな非効率性を示している。 エントロピー符号化を適用することで、DFloat11は周波数に基づく重み付けに動的長符号化を割り当て、精度を損なうことなく、最適に近い情報圧縮を実現する。 動的長エンコーディングによる効率的な推論を容易にするため,高速オンライン圧縮のためのカスタムGPUカーネルを開発した。 私たちのデザインには以下のものがある。 i) GPU SRAM に適合する小型 LUT へのメモリ集約型ルックアップテーブル(LUT)の分解 (二)軽量補助変数を用いたスレッド読み書き位置調整のための二相カーネル、及び 3) 遅延を最小限に抑えるため, 変圧器ブロックレベルの減圧を行う。 Llama-3.1, Qwen-2.5, Gemma-3を含む最近のモデル実験では、DFloat11はビット・フォー・ビットの正確な出力を保ちながら約30%のモデルサイズ縮小を達成するという仮説が検証されている。 メモリ制約を満たすために、非圧縮モデルの一部をCPUにオフロードする潜在的な代替手段と比較して、DFloat11はトークン生成において1.9-38.8倍高いスループットを達成する。 固定されたGPUメモリ予算により、DFloat11は圧縮されていないモデルよりも5.3-13.17倍のコンテキスト長を実現する。 特に、8x80GBのGPUを搭載した単一ノード上で、810GBのモデルであるLlama-3.1-405Bのロスレス推論を可能にする。 私たちのコードとモデルはhttps://github.com/LeanModels/DFloat11.comで公開されています。

関連論文リスト

• Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference [19.59857352852377]
  大規模言語モデル(LLM)は、急速にサイズを拡大し続けている。 これにより、小さなエッジデバイス上でのLLMの動作の困難さが増した。 本稿では,LLM重みを圧縮形式で格納するHuff-LLMを提案する。
  論文  参考訳（メタデータ） (2025-02-02T21:23:42Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing [10.47214968497857]
  本稿では,低ランク構造を利用した大規模言語モデルの事前学習と微調整を行う高性能手法を提案する。 本手法は精度低下を伴わずに保持できる1.3Xの高速化と2.64Xのモデル圧縮比を実現する。 ファインタニングでは,一般タスクと財務タスクの平均精度が6.3%,24.0%向上した。
  論文  参考訳（メタデータ） (2024-02-21T05:03:17Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
  Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。 これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
  論文  参考訳（メタデータ） (2023-06-05T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。