論文の概要: Quantization Degradation in Large Language Models: A Signal-Noise Perspective

• arxiv url: http://arxiv.org/abs/2608.08188v1
• Date: Sat, 08 Aug 2026 15:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.716179
• Title: Quantization Degradation in Large Language Models: A Signal-Noise Perspective
• Title（参考訳）: 大規模言語モデルにおける量子化劣化:信号ノイズの視点から
• Abstract要約: 我々は,ビット幅,量子化法,モデルスケール,ダウンストリームタスクにまたがる重みのみのポストトレーニング量子化を体系的に研究する。 このような劣化はこれらの要因によって大きく異なる。 我々は、信号対雑音比(SNR)を用いて、量子化の摂動がフル精度表現をどのように強固に行うかを測定する。
• 参考スコア（独自算出の注目度）: 31.171218460791483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization reduces the deployment cost of large language models, yet how severely a quantized model degrades is not determined by bit-width alone. We systematically study weight-only post-training quantization across bit-widths, quantization methods, model scales and downstream tasks on multiple model families. We observe that such degradation varies substantially across these factors: 4-bit quantization usually preserves performance, 2-bit often causes broad degradation, and at 3-bit, degradation becomes apparent but varies markedly with task type, quantization method and model scale. To explain this variability, we use the signal-to-noise ratio (SNR) to measure how strongly quantization perturbs full-precision representations. We trace degradation back to two linked processes: how quantization errors arise within individual modules, and how they accumulate across layers. First, a source SNR decomposition shows that newly introduced errors depend on three factors: the magnitude of the weight error, the strength of the task-specific signal, and how strongly the quantization error aligns with task-specific activations. Different factors affect these components in distinct ways. Second, a cross-layer propagation analysis shows that these errors can be attenuated, preserved, or amplified as they pass across layers, and that larger models benefit from weaker error amplification. Together, these results establish that quantization degradation is governed by how errors are introduced at the source and how they accumulate across the network.
• Abstract（参考訳）: トレーニング後の量子化は、大規模言語モデルのデプロイメントコストを低減しますが、ビット幅だけでは、どれだけ深刻な量子化モデルの劣化が決定されません。 複数のモデルファミリ上のビット幅、量子化方法、モデルスケール、ダウンストリームタスクにまたがる重みのみのポストトレーニング量子化を系統的に研究する。 4ビット量子化は通常性能を保ち、2ビットはしばしば広い劣化を引き起こすが、3ビットでは、分解は明らかになるが、タスクタイプ、量子化方法、モデルスケールで顕著に変化する。 この可変性を説明するために、信号対雑音比(SNR)を用いて、量子化の摂動がフル精度表現をいかに強く抑えるかを測定する。 私たちは、個々のモジュール内で量子化エラーが発生する方法と、層間でどのように蓄積されるかという、2つの関連したプロセスに遡る。 まず、新たに導入された誤差は、重み誤差の大きさ、タスク固有の信号の強度、および量子化誤差がタスク固有のアクティベーションとどの程度強く一致しているかの3つの要因に依存することを示す。 異なる要因がこれらの構成要素に異なる方法で影響を及ぼす。 第二に、層間伝搬解析により、これらのエラーは層間を通過するときに減衰、保存、増幅され、より大きなモデルはより弱いエラー増幅の恩恵を受ける。 これらの結果により、量子化劣化は、ソースでのエラーの導入方法と、ネットワーク全体でどのように蓄積されるかによって制御される。

関連論文リスト

• The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs [5.849736173068869]
  トレーニング後の量子化は、リソース制約のある設定で大規模言語モデルをデプロイするために広く利用されている。 これらの指標は量子化によって引き起こされる行動変化を捉えるのに失敗することを示す。 ベースモデルとその量子化変量の間の正確な予測の重なりを計測する決定レベルの尺度である正当性合意を導入する。
  論文  参考訳（メタデータ） (2026-07-09T17:35:02Z)
• DMQ: Dissecting Outliers of Diffusion Models for Post-Training Quantization [29.066284789131494]
  最近のトレーニング後の量子化法は、外乱を無視し、低ビット幅での劣化性能をもたらす。 本稿では,Learned Equivalent ScalingとチャネルワイドのPower-of-Two Scalingを組み合わせたDMQを提案する。 提案手法は,特に低ビット幅において,既存の処理性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-17T09:15:29Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• When Quantization Affects Confidence of Large Language Models? [4.338589334157708]
  GPTQから4ビットへの変換は,言語モデルによって異なる影響で,真のラベルに対する信頼度を低下させることを示す。 本稿では,信頼度に基づく量子化損失の説明を行い,まず,完全モデルが信頼度が低いサンプルに対して,量子化が不均等に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-01T16:58:28Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,不均衡な活性化分布を量子化困難の原因として同定する。 我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。 本手法は3つの高解像度画像生成タスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• Mixed-Precision Inference Quantization: Radically Towards Faster inference speed, Lower Storage requirement, and Lower Loss [4.877532217193618]
  既存の量子化技術は、経験と「微調整」スキルに大きく依存している。 本研究は,完全精度モデルよりも低損失の混合精密量子化モデルを得るための方法論を提供する。 特に、巨大なアイデンティティマッピングを持つニューラルネットワークが量子化法に耐性があることを実証する。
  論文  参考訳（メタデータ） (2022-07-20T10:55:34Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• AUSN: Approximately Uniform Quantization by Adaptively Superimposing Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
  既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。 重みとアクティベーションを定量化する新しい量子化法を提案する。 鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
  論文  参考訳（メタデータ） (2020-07-08T05:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。