論文の概要: Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals

• arxiv url: http://arxiv.org/abs/2609.21450v1
• Date: Fri, 18 Sep 2026 08:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.925753
• Title: Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals
• Title（参考訳）: 活性化誘導補償と直交残差によるLCM量子化の理解
• Abstract要約: アクティベーションアウトレーヤが有効量子化分解能を低下させるため、トレーニング後の重量活性化量子化は困難である。 我々は、局所的な重量-活性化量子化誤差を活性化誘導量補償項に正確に分解する。 ランダム化アダマール回転, 符号選択, チャネルスケーリングの実践的ガイドラインを導出する。
• 参考スコア（独自算出の注目度）: 31.935824861650005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training weight-activation quantization reduces the memory and inference costs of large language models, but aggressive W4A4 quantization remains difficult because activation outliers degrade effective quantization resolution. Although weight optimization, channel-wise scaling, and orthogonal rotation mitigate this problem, the error components they address and their relationship remain unclear. Using an exact decomposition of local weight-activation quantization error into an activation-guided weight compensation term and an orthogonal residual, we bound the residual using persistent channel-wise outlier and regular activation quantities. This decomposition clarifies which error components can be addressed by weight compensation and which require transformation design. We then use the residual bounds to derive practical guidelines for applying randomized Hadamard rotation, sign selection, and channel scaling. In particular, the analysis explains how random signs suppress constructive interference among persistent outlier channels, how sampling multiple sign patterns can improve transformation selection, and how second-moment balancing leads to an $L_2$ scaling rule while a further relaxation recovers SmoothQuant-style $L_\infty$ scaling. We evaluate these guidelines through backpropagation-free configurations across eight Llama and Mistral models, obtaining performance competitive with gradient-trained SpinQuant.
• Abstract（参考訳）: トレーニング後のウェイトアクティベーション量子化は、大きな言語モデルのメモリと推論コストを削減するが、アクティブなW4A4量子化は、有効量子化分解能を低下させるため、依然として困難である。 重み最適化、チャネルワイドスケーリング、直交回転はこの問題を緩和するが、それらが対処する誤差成分とその関係はいまだ不明である。 局所的な重量-活性化量子化誤差を活性化誘導量補償項と直交残差に正確に分解することにより、持続チャネルワイド・アウトリーと正規活性化量を用いて残余を拘束する。 この分解は、重み補正によってどのエラー成分に対処できるかを明らかにし、変換設計を必要とする。 次に、残余境界を用いて、ランダム化アダマール回転、符号選択、チャネルスケーリングの実践的ガイドラインを導出する。 特に、ランダムサインが永続的な外れ値チャネル間の構成的干渉を抑制する方法、複数の符号パターンのサンプリングが変換選択を改善する方法、第二モーメントバランスがスケーリングルールにどう影響するか、さらに緩和することでSmoothQuantスタイルの$L_\infty$スケーリングが回復するかを説明している。 我々は8つのLlamaモデルとMistralモデル間のバックプロパゲーションフリーな構成によりこれらのガイドラインを評価し、勾配学習されたSpinQuantと競合する性能を得る。

関連論文リスト

• COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models [13.501861808796873]
  構造化プルーニングのためのトレーニングフリー補償フレームワークとしてCOEC(Calibrated Orthogonal-Equivalence Compensation)を提案する。 Llama-3、Llama-3.1、Qwen2.5のモデルファミリーの実験では、COECは全てのモデルにおけるパープレキシティを改善し、ほとんどの設定においてゼロショット精度を向上している。
  論文  参考訳（メタデータ） (2026-08-21T14:20:49Z)
• ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs [14.352305549429289]
  大きな言語モデル(LLM)は、大きなメモリフットプリントと高い推論コストのために、デプロイにコストがかかる。 ウェイトアクティベーション量子化はこれらのコストを削減することができるが、アクティベーションアウトレイアが大きな量子化誤差を引き起こすため、低ビットアクティベーション量子化は依然として困難である。 LLMアクティベーション量子化のための軽量な後回転校正法を提案する。
  論文  参考訳（メタデータ） (2026-05-11T16:23:10Z)
• OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization [25.000917754189178]
  トレーニング後の重量限定量子化は、モデルサイズを減らし、トークン生成を加速することで、有望なソリューションを提供する。 重量に固有の体系的なアウトリーチが存在することは、依然として大きな障害である。 本稿では,2次低ランク特性によって誘導される付加的な重み抑制を行うOutlier Self-Absorption Quantization (OSAQ)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T10:35:25Z)
• Dissecting Quantization Error: A Concentration-Alignment Perspective [23.355895097785083]
  信号-量子化-雑音比(SQNR)による線形層量子化の解析 固定ビット幅で均一な整数量子化を行う場合、SQNRは(i)重みとアクティベーションの濃度と(ii)支配的な変動方向のアライメントに分解する。 これを動機として,小型キャリブレーションセットから共分散推定値を用いて濃度とアライメントを協調的に改善する,軽量線形変換であるブロック濃度アライメント変換(CAT)を導入する。
  論文  参考訳（メタデータ） (2026-03-04T18:26:24Z)
• Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
  本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。 Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。 Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
  論文  参考訳（メタデータ） (2026-02-07T15:50:18Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
  大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。 既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。 Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。 提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
  論文  参考訳（メタデータ） (2024-09-30T14:59:22Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。