論文の概要: Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization

• arxiv url: http://arxiv.org/abs/2610.07522v1
• Date: Mon, 05 Oct 2026 23:41:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.716973
• Title: Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization
• Title（参考訳）: アクティベーションDenoising:並列と逐次LLM量子化のロバストな視点
• Abstract要約: トレーニング後の量子化は、大きな言語モデルを圧縮するための強力なツールである。 逐次量子化(Sequential Quantization)は、各層を前者の既に定量化されている出力に再計算することで、エラーの複雑化の原因となる。 本稿では, 量子化を完全に並列に保ちながら, 逐次的利益の多くを回復する, アクティベーションデノイングによる並列量子化を提案する。
• 参考スコア（独自算出の注目度）: 58.53931135216174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization is a powerful tool for compressing large language models. The most scalable methods quantize every layer in parallel, but quantization errors then compound through the residual stream, as no layer corrects for the errors of the layers before it. Sequential quantization accounts for this error compounding by re-calibrating each layer on the already-quantized outputs of its predecessors, yielding stronger results but at the cost of a serial schedule that becomes a bottleneck at scale. As a solution, we propose parallel quantization with activation denoising, which recovers much of the sequential benefit while keeping quantization fully parallel. Rather than re-calibrating layer-by-layer, we take a robustness perspective and model the upstream error as noise, regularizing to be robust to it through a preprocessing step followed by metric-weighted rounding. Applied at every layer, this regularization forms a depth-compounding smoothness penalty that dampens how strongly quantization errors amplify through the model. Unlike orthogonal rotations commonly used in quantization, which must preserve the model's function, we multiply the weights by a more general linear transformation. We find that the two are complementary and their effects compound. Empirically, our robustness regularization recovers a significant part of sequential quantization's benefit in a single parallel pass, at a fraction of its time. Overall, by treating compounding quantization errors as a robustness problem, we offer a principled foundation for more efficient and accurate LLM quantization at scale.
• Abstract（参考訳）: トレーニング後の量子化は、大きな言語モデルを圧縮するための強力なツールである。 最もスケーラブルな方法は、すべてのレイヤを並列に量子化するが、量子化エラーは、残余のストリームを通して複雑になる。 逐次量子化は、前者の既に定量化されている出力に対して各層を再計算し、より強い結果をもたらすが、大規模にボトルネックとなる連続スケジュールのコストで、このエラーを複雑化する。 そこで本研究では, 量子化を完全に並列に保ちながら, 逐次的利益の多くを回復する, アクティベーションデノナイジングによる並列量子化を提案する。 レイヤ・バイ・レイヤを再調整する代わりに、ロバストネスの観点から上流誤差をノイズとしてモデル化し、前処理ステップでロバスト化し、次いでメートル法重み付きラウンド化を行う。 すべての層に適用されるこの正規化は、モデルを通してどれだけ強い量子化誤差が増幅されるかを抑えるような、深みに満ちた滑らかさのペナルティを形成する。 量子化でよく使われる直交回転とは異なり、モデルの関数を保存する必要があるが、より一般的な線形変換によって重みを乗算する。 両者は相補的であり、それらの効果は複合的である。 経験的に、ロバスト性正則化は、1つの並列パスにおけるシーケンシャル量子化の利点のかなりの部分を、その時間のごく一部で回復させる。 全体として、量子化誤差をロバスト性問題として扱うことにより、より効率的で正確なLLM量子化を大規模に行うための基礎となる。

関連論文リスト

• Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models [7.1292230757125905]
  後学習量子化(PTQ)は、大規模視覚活性化モデル(LVLM)の効率的な展開を可能にする 近年のLVLMのPTQ法では感度信号が組み込まれているが,完全精度モデルでは再現損失が最小化されている。 本稿では、最適化を超えて精度と正規化のバランスをとる量子化効果に基づくフレームワークであるBa balanced Fittingを提案する。
  論文  参考訳（メタデータ） (2026-09-28T09:48:10Z)
• Rethinking Residual Errors in Compensation-based LLM Quantization [15.416446372209924]
  我々は、各量子化層の出力をその完全精度と整合させる非対称キャリブレーションプロセスを導入する。 残差は前層の出力差だけでなく,各層内の補償重みと原重みとの差からも生じる。 提案手法はGPTQとGPTAQの両方とシームレスに統合され,量子化性能が大幅に向上した。
  論文  参考訳（メタデータ） (2026-04-09T08:20:59Z)
• RUQuant: Towards Refining Uniform Quantization for Large Language Models [17.258420059228808]
  ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。 既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。 本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
  論文  参考訳（メタデータ） (2026-04-05T08:04:39Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• OAC: Output-adaptive Calibration for Accurate Post-training Quantization [28.67781845829386]
  大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。 ほとんどのPTQは、モデル出力を無視した層ワイドユークリッド損失に基づいて量子化誤差を定式化する。 キャリブレーションプロセスにモデル出力を組み込むために,出力適応量子化(OAC)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T20:01:17Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。