論文の概要: SliderQuant: Accurate Post-Training Quantization for LLMs

• arxiv url: http://arxiv.org/abs/2603.25284v1
• Date: Thu, 26 Mar 2026 10:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.242222
• Title: SliderQuant: Accurate Post-Training Quantization for LLMs
• Title（参考訳）: SliderQuant: LLMの正確なポストトレーニング量子化
• Authors: Shigeng Wang, Chao Li, Yangyuxuan Kang, Jiawei Fan, Zhonghong Ou, Anbang Yao,
• Abstract要約: 事前訓練された高精度言語モデルを考えると、シーケンシャル量子化フレームワークは異なるレイヤを等しく扱う。 我々はスライディング層量子化(SliderQuant)と呼ばれる新しいPTQフレームワークを提案する。 本手法は、重量のみの量子化と重量活性化の量子化の両方のために既存のPTQ法より優れている。
• 参考スコア（独自算出の注目度）: 16.025581576593783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address post-training quantization (PTQ) for large language models (LLMs) from an overlooked perspective: given a pre-trained high-precision LLM, the predominant sequential quantization framework treats different layers equally, but this may be not optimal in challenging bit-width settings. We empirically study the quantization impact of different layers on model accuracy, and observe that: (1) shallow/deep layers are usually more sensitive to quantization than intermediate layers; (2) among shallow/deep layers, the most sensitive one is the first/last layer, which exhibits significantly larger quantization error than others. These empirical observations imply that the quantization design for different layers of LLMs is required on multiple levels instead of a single level shared to all layers. Motivated by this, we propose a new PTQ framework termed Sliding-layer Quantization (SliderQuant) that relies on a simple adaptive sliding quantization concept facilitated by few learnable parameters. The base component of SliderQuant is called inter-layer sliding quantization, which incorporates three types of novel sliding window designs tailored for addressing the varying quantization sensitivity of shallow, intermediate and deep layers. The other component is called intra-layer sliding quantization that leverages an incremental strategy to quantize each window. As a result, SliderQuant has a strong ability to reduce quantization errors across layers. Extensive experiments on basic language generation, zero-shot commonsense reasoning and challenging math and code tasks with various LLMs, including Llama/Llama2/Llama3/Qwen2.5 model families, DeepSeek-R1 distilled models and large MoE models, show that our method outperforms existing PTQ methods (including the latest PTQ methods using rotation transformations) for both weight-only quantization and weight-activation quantization.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) に対するPTQ(Post-training Quantization) について,事前学習された高精度 LLM を考えると,逐次量子化フレームワークは異なる層を等しく扱うが,ビット幅設定に挑戦するには最適ではない。 1)浅層/深層は一般的に中間層よりも量子化に敏感であり,(2)浅層/深層の中で最も敏感な層は第1層/最終層であり,他の層よりもはるかに大きな量子化誤差を示す。 これらの経験的観察は、LLMの異なる層に対する量子化設計が、すべての層に共有される単一のレベルではなく、複数のレベルで必要とされることを示唆している。 そこで本研究では,スライディング層量子化(SliderQuant)と呼ばれる新しいPTQフレームワークを提案する。 SliderQuantのベースコンポーネントは層間スライディング量子化と呼ばれ、浅層、中層、深層の様々な量子化感度に対処するための3種類の新しいスライディングウィンドウ設計を組み込んでいる。 他のコンポーネントは層内スライディング量子化と呼ばれ、各ウィンドウの定量化にインクリメンタル戦略を活用する。 その結果、SliderQuantは層間の量子化エラーを減らす強力な能力を持つ。 Llama/Llama2/Llama3/Qwen2.5モデルファミリ,DeepSeek-R1蒸留モデル,および大規模なMoEモデルなど,基本的な言語生成,ゼロショットコモンセンス推論,難解な数学およびコードタスクに関する広範な実験により,本手法は,ウェイトオンリー量子化とウェイトアクティベーション量子化の両方のために既存のPTQ法(ローテーション変換を用いた最新のPTQ法を含む)より優れていることが示された。

関連論文リスト

• LSGQuant: Layer-Sensitivity Guided Quantization for One-Step Diffusion Real-World Video Super-Resolution [52.627063566555194]
  本稿では,一段階拡散に基づく実世界VSRのための層感度誘導量子化手法LSGQuantを紹介する。 本手法は,ビデオトークンのアクティベーションに適合する動的レンジ適応量子化器 (DRAQ) を備える。 提案手法は,完全精度のオリジンモデルに対してほぼ性能が良く,既存の量子化手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2026-02-03T06:53:19Z)
• RSQ: Learning from Important Tokens Leads to Better Quantized LLMs [65.5558181902098]
  レイヤーワイド量子化は、高価なリトレーニングなしで大きなモデルを効率的に圧縮するための重要な技術である。 モデルに回転を適用して外乱を緩和するRSQ(Rotate, Scale, then Quantize)を提案する。 RSQは、複数の下流タスクと3つのモデルファミリーで、ベースラインメソッドを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2025-03-03T18:46:33Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels [20.706177044867797]
  本稿では,大規模言語モデル(LLM)の異なる層を異なるビットレベルで定量化する,シンプルなメタ量子化手法を提案する。 具体的には、最も重要な層を高いビット精度に量子化し、低いビットに対して重要でない層を定量化する。
  論文  参考訳（メタデータ） (2024-06-25T09:37:15Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。