論文の概要: From 2:4 to 8:16 sparsity patterns in LLMs for Outliers and Weights with Variance Correction

• arxiv url: http://arxiv.org/abs/2507.03052v1
• Date: Thu, 03 Jul 2025 12:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.562429
• Title: From 2:4 to 8:16 sparsity patterns in LLMs for Outliers and Weights with Variance Correction
• Title（参考訳）: LLMにおける2:4から8:16間隔パターン
• Authors: Egor Maximov, Yulia Kuzkina, Azamat Kanametov, Alexander Prutko, Aleksei Goncharov, Maxim Zhelnin, Egor Shvetsov,
• Abstract要約: 8:16の半構造化空間は、ストレージオーバーヘッドを最小限に抑え、柔軟性を向上することを示した。 また, サリエントウェイトに対してスパース構造パターンを適用し, 非構造的アプローチとの競合性を示す。
• 参考スコア（独自算出の注目度）: 36.136619420474766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) grow in size, efficient compression techniques like quantization and sparsification are critical. While quantization maintains performance with reduced precision, structured sparsity methods, such as N:M sparsification, often fall short due to limited flexibility, and sensitivity to outlier weights. We explore 8:16 semi-structured sparsity, demonstrating its ability to surpass the Performance Threshold-where a compressed model matches the accuracy of its uncompressed or smaller counterpart under equivalent memory constraints. Compared to 2:4 sparsity, 8:16 offers greater flexibility with minimal storage overhead (0.875 vs. 0.75 bits/element). We also apply sparse structured patterns for salient weights, showing that structured sparsity for outliers is competitive with unstructured approaches leading to equivalent or better results. Finally, we demonstrate that simple techniques such as variance correction and SmoothQuant like weight equalization improve sparse models performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)のサイズが大きくなるにつれて、量子化やスパーシフィケーションといった効率的な圧縮技術が重要となる。 量子化は精度を下げて性能を維持するが、N:Mスパーシフィケーションのような構造化されたスパーシフィケーション法は、しばしば柔軟性が制限され、重量が外れることへの感受性が低下する。 我々は8:16の半構造化空間を探索し、圧縮されたモデルが同等のメモリ制約の下で圧縮されていない場合の精度と一致する性能閾値を超える能力を示す。 2:4と比べ、8:16はストレージオーバーヘッドを最小限に抑え、柔軟性が向上している(0.875対0.75ビット/要素)。 また, サリエントウェイトに対するスパース構造パターンの適用により, アウトレーヤに対する構造的空間性は, 等価あるいはより良い結果をもたらす非構造的アプローチと競合することを示す。 最後に、分散補正やSmoothQuantのような重み等化のような単純な手法がスパースモデルの性能を向上させることを示す。

関連論文リスト

• HASSLE-free: A unified Framework for Sparse plus Low-Rank Matrix Decomposition for LLMs [15.575498324678373]
  有望な圧縮スキームは、基礎モデルの密度重みをスパースと低ランク行列の和に分解することである。 本稿では,半構造化)スパースと低ランク行列分解のためのHASSLEフリーの統一フレームワークを設計する。
  論文  参考訳（メタデータ） (2025-02-02T20:23:32Z)
• Direct Quantized Training of Language Models with Stochastic Rounding [12.028887152979046]
  様々な大きさのLLaMA構造化モデルの実験結果から,3次値に制約された場合でも,低精度の重み付きトレーニングが実現可能であることが示唆された。 我々のモデルは、FP32から低メモリ環境に移行する際の性能劣化を最小限に抑えながら、精度のスケーリングとメモリ削減に頑健なままです。
  論文  参考訳（メタデータ） (2024-12-06T05:41:11Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression [7.6131620435684875]
  SLIMは新しいワンショット圧縮フレームワークで、ハードウェアフレンドリーな量子化、スパーシティ、低ランク近似を統合する。 SLIMはモデル精度を最大5.66%(LLaMA-2-7B)まで改善し、4ビットの重み量子化で2:4の間隔で計算し、従来の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-12T18:36:07Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Combining Compressions for Multiplicative Size Scaling on Natural Language Tasks [7.813460653362095]
  量子化、知識蒸留、マグニチュードプルーニングは、NLPにおけるニューラルネットワーク圧縮の最も一般的な方法の一つである。 6つのBERTアーキテクチャサイズと8つのGLUEタスクで、精度とモデルサイズとのトレードオフを比較します。 定量化と蒸留は、プルーニングよりも常に大きな利益をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-08-20T14:01:56Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。