論文の概要: Quantization of Large Models with Weight Outliers and Sparsity

• arxiv url: http://arxiv.org/abs/2611.00286v1
• Date: Fri, 30 Oct 2026 19:09:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:36:35.667598
• Title: Quantization of Large Models with Weight Outliers and Sparsity
• Title（参考訳）: 重み付きアウトレーヤと疎度を有する大規模モデルの量子化
• Abstract要約: 後トレーニング量子化(PTQ)は、高精度にトレーニングされた重みを少ないビットにキャストすることで、大規模なモデル展開のメモリ負担を軽減する。 このコントリビューションは、オリジナルのトレーニングされた重みを、量子化された行列、低ランクな成分、および重みの外れの行を考慮に入れたスパース行列に分解する。
• 参考スコア（独自算出の注目度）: 28.078876854863097
• License:
• Abstract: Post-training quantization (PTQ) reduces the memory burden of large model deployment by casting the high precision trained weights to fewer bits. While this promotes memory-efficient inference, it also incurs quantization error that impairs model performance. To compensate for quantization error, the present contribution decomposes the original trained weights into a quantized matrix, a low-rank component, and a sparse matrix that accounts for outlier rows in the weights. Due to analytical intractability and the discrete structure of the decomposition, a simulated annealing search is employed to explore candidate decompositions while avoiding poor local minima. Numerical tests demonstrate the effectiveness of this approach across a broad suite of large language models, including Llama 3.2 1B, Llama 3.2 3B, Llama 3.1 8B, and Qwen2.5 7B, evaluated on natural language generation benchmarks using 4-bit NF4 and FP4 quantizers. The novel method can markedly outperform direct quantization while incurring minimal memory overhead.
• Abstract（参考訳）: 後トレーニング量子化(PTQ)は、高精度にトレーニングされた重みを少ないビットにキャストすることで、大規模なモデル展開のメモリ負担を軽減する。 これはメモリ効率の推論を促進するが、モデルの性能を損なう量子化誤差も引き起こす。 量子化誤差を補うために、現在のコントリビューションは、オリジナルのトレーニングされた重みを量子化行列、低ランク成分、および重みの外れの行を考慮に入れたスパース行列に分解する。 解析的イントラクタビリティと分解の離散構造により, 局所最小値の低下を回避しつつ, 模擬アニール探索を用いて分解候補の探索を行う。 Llama 3.2 1B, Llama 3.2 3B, Llama 3.1 8B, Qwen2.5 7B など, 4ビット NF4 と FP4 の量子化器を用いた自然言語生成ベンチマークで評価した。 この手法はメモリオーバーヘッドを最小限に抑えつつ直接量子化を著しく上回る。

関連論文リスト

• ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
  NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。 特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
  論文  参考訳（メタデータ） (2026-05-30T08:26:16Z)
• Theory-optimal Quantization Based on Flatness [31.126049393687143]
  学習後の量子化は、Large Language Models (LLMs) の推論を圧縮し加速する手法として広く採用されている。 LLM量子化における主な課題は、特に低ビット精度でモデル性能を著しく低下させる、外れ値に起因する。 本稿では,2方向対角量子化(BDQ)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T10:51:40Z)
• Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
  低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。 デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。 われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
  論文  参考訳（メタデータ） (2025-05-16T12:11:40Z)
• Improving Block-Wise LLM Quantization by 4-bit Block-Wise Optimal Float (BOF4): Analysis and Variations [22.127873567034825]
  大規模言語モデル(LLM)は、微調整と推論の両方で広範なメモリ容量を必要とする。 既存の手法では、NF4やAF4といったブロックワイド量子化技術がネットワーク重みに適用されている。 これらの量子化手法が最適以下の量子化誤差を引き起こすことを示す。
  論文  参考訳（メタデータ） (2025-05-10T14:00:15Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Exploring the Trade-Offs: Quantization Methods, Task Difficulty, and Model Size in Large Language Models From Edge to Giant [11.832907585157638]
  量子化は、大規模および小規模言語モデルのコスト効率のよいデプロイのための有望なソリューションとして注目を集めている。 1Bから405Bパラメータにまたがる命令調整モデルの総合評価を行い、13のデータセットに対して4つの量子化手法を適用した。
  論文  参考訳（メタデータ） (2024-09-17T10:31:37Z)
• OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
  本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。 実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
  論文  参考訳（メタデータ） (2024-02-17T14:26:57Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。