論文の概要: SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators

• arxiv url: http://arxiv.org/abs/2410.10714v2
• Date: Wed, 16 Oct 2024 00:11:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 20:05:09.748770
• Title: SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators
• Title（参考訳）: SeedLM:LLM重量を擬似ランダム発電機の種子に圧縮する
• Authors: Rasoul Shafipour, David Harrison, Maxwell Horton, Jeffrey Marker, Houman Bedayat, Sachin Mehta, Mohammad Rastegari, Mahyar Najibi, Saman Naderiparizi,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理を変革しているが、ランタイムコストが高いため、広範なデプロイメントにおいて課題に直面している。 本稿では,擬似ランダム発生器の種をモデル重みのエンコードおよび圧縮に用いる,新しい訓練後圧縮法であるSeedLMを紹介する。
• 参考スコア（独自算出の注目度）: 25.229269944770678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have transformed natural language processing, but face significant challenges in widespread deployment due to their high runtime cost. In this paper, we introduce SeedLM, a novel post-training compression method that uses seeds of pseudo-random generators to encode and compress model weights. Specifically, for each block of weights, we find a seed that is fed into a Linear Feedback Shift Register (LFSR) during inference to efficiently generate a random matrix. This matrix is then linearly combined with compressed coefficients to reconstruct the weight block. SeedLM reduces memory access and leverages idle compute cycles during inference, effectively speeding up memory-bound tasks by trading compute for fewer memory accesses. Unlike state-of-the-art compression methods that rely on calibration data, our approach is data-free and generalizes well across diverse tasks. Our experiments with Llama 3 70B, which is particularly challenging to compress, show that SeedLM achieves significantly better zero-shot accuracy retention at 4- and 3-bit than state-of-the-art techniques, while maintaining performance comparable to FP16 baselines. Additionally, FPGA-based tests demonstrate that 4-bit SeedLM, as model size increases to 70B, approaches a 4x speed-up over an FP16 Llama 2/3 baseline.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理を変革しているが、ランタイムコストが高いため、広範なデプロイメントにおいて大きな課題に直面している。 本稿では,擬似ランダム発生器の種をモデル重みのエンコードおよび圧縮に用いる,新しい訓練後圧縮法であるSeedLMを紹介する。 具体的には、各重みのブロックに対して、推論中に線形フィードバックシフトレジスタ(LFSR)に入力されたシードを見つけ、ランダムな行列を効率的に生成する。 この行列は、重みブロックを再構築するために圧縮係数と線形に結合される。 SeedLMはメモリアクセスを削減し、推論中にアイドル計算サイクルを活用する。 キャリブレーションデータに依存する最先端の圧縮手法とは異なり、我々の手法はデータフリーであり、多様なタスクにまたがってうまく一般化する。 圧縮が特に困難であるLlama 370Bを用いた実験では,FP16ベースラインに匹敵する性能を維持しながら,SeedLMは最先端技術よりも4ビット,3ビットでのゼロショット精度保持を著しく向上することが示された。 さらにFPGAベースのテストでは、4ビットのSeedLMがモデルサイズが70Bに増加するにつれて、FP16 Llama 2/3ベースラインの4倍のスピードアップに近づいている。

関連論文リスト

• TesseraQ: Ultra Low-Bit LLM Post-Training Quantization with Block Reconstruction [20.903193906931687]
  後学習量子化(PTQ)は、メモリフットプリントを減らし、大規模言語モデル(LLM)の推論スループットを向上させるデファクト手法になりつつある。 我々は,LLMの重みを超低ビットに定量化するために,最新のPTQ技術であるTesseraQを提案する。 我々は、TesseraQが既存のスケーリングやクリッピングベースのPTQアルゴリズムとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-24T19:06:51Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
  Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。 これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
  論文  参考訳（メタデータ） (2023-06-05T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。