論文の概要: Why Does Post-Training Quantization Work?

• arxiv url: http://arxiv.org/abs/2609.11716v1
• Date: Thu, 10 Sep 2026 15:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.420626
• Title: Why Does Post-Training Quantization Work?
• Title（参考訳）: トレーニング後の量子化はなぜ機能するのか?
• Abstract要約: 訓練後の量子化は、重みを少ない精度で保存することで大きな言語モデルを圧縮し、各量子化重みは隠れた状態に誤りをもたらす。 なぜポストトレーニングの量子化が機能するのか? 事前学習された量子化ロバスト性を特徴付ける2つのメカニズムを同定する。
• 参考スコア（独自算出の注目度）: 24.890051501757146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization compresses large language models (LLMs) by storing their weights at reduced precision, and each quantized weight introduces an error into the hidden states. Naively, these errors should accumulate with depth and corrupt next-token prediction; randomly initialized models accumulate these discrepancies rapidly, whereas quantized pretrained models accumulate much less hidden-state error and largely maintain downstream task performance, even though they were never trained with quantization noise. This raises the question we address: why does post-training quantization work? Comparing full-precision and quantized forward passes, we identify two mechanisms that characterize pretrained quantization robustness. First, the error a layer newly introduces tends to oppose the error it inherits from the layer's input. The two cancel partially such that the discrepancy between full-precision and quantized passes grows slowly. This counteracting residual interaction develops during pretraining. Our quantitative analysis identifies it as a major factor slowing hidden-error growth. Second, LM-head geometry preferentially preserves the scores and probabilities of high-ranked tokens, which typically represent the model's most confident predictions. Together, these mechanisms explain why quantization error that passes through numerous layers can still produce only small output changes, and we verify the findings across models and quantization settings.
• Abstract（参考訳）: 後学習量子化は、重みを少ない精度で保存することで大きな言語モデル(LLM)を圧縮し、各量子化重みは隠れた状態に誤りをもたらす。 ランダムに初期化されたモデルはこれらの不一致を迅速に蓄積する一方、量子化された事前訓練されたモデルは、量子化ノイズの訓練を受けていないにもかかわらず、かなり少ない隠れ状態のエラーを蓄積し、下流のタスク性能をほぼ維持する。 なぜポストトレーニングの量子化が機能するのか? 完全精度と量子化フォワードパスを比較し、事前学習された量子化ロバスト性を特徴付ける2つのメカニズムを同定する。 まず、レイヤが新たに導入するエラーは、レイヤの入力から継承するエラーに反対する傾向がある。 この2つは部分的にキャンセルされ、完全精度と量子化パスの差が緩やかに大きくなる。 この反作用的な残留相互作用は、事前訓練中に発達する。 我々の定量分析では、それは隠れエラーの進行を遅らせる主要な要因であると見なされている。 第二に、LMヘッド幾何学は高階トークンのスコアと確率を優先的に保存する。 これらのメカニズムは、多数の層を通過する量子化誤差が依然として小さな出力変化しか生じない理由を説明するとともに、モデルと量子化設定間での発見を検証する。

関連論文リスト

• Quantization Degradation in Large Language Models: A Signal-Noise Perspective [31.171218460791483]
  我々は,ビット幅,量子化法,モデルスケール,ダウンストリームタスクにまたがる重みのみのポストトレーニング量子化を体系的に研究する。 このような劣化はこれらの要因によって大きく異なる。 我々は、信号対雑音比(SNR)を用いて、量子化の摂動がフル精度表現をどのように強固に行うかを測定する。
  論文  参考訳（メタデータ） (2026-08-08T15:28:45Z)
• Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Models [19.14957817129379]
  学習後量子化の低ビット化はテスト時間計算コストを隠蔽できることを示す。 INT4/INT3量子化は精度を保ちつつも、推論と推論の使用量を増加させ、期待されるトーケン毎のスピードアップを相殺することを発見した。
  論文  参考訳（メタデータ） (2026-06-24T07:54:55Z)
• Enhancing Post-Training Quantization via Future Activation Awareness [84.76726857601753]
  ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)を微調整なしで圧縮する方法として広く用いられている。 本稿では、将来の層活性化を利用して量子化を導出するFuture-Aware Quantization (FAQ)を提案する。 FAQは、後方パス、データ再構成、チューニングを必要とせず、無視できる余分なコストで、従来手法よりも一貫してパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2026-01-28T12:03:30Z)
• Why Do Some Inputs Break Low-Bit LLM Quantization? [33.31258645346889]
  低ビット重みのみの量子化は大きな言語モデル(LLM)のメモリフットプリントを大幅に削減する 我々は, 7B-70B から 7B-70B までの LLM 上の多種多様3-4 ビット法を解析し,FinWeb の例では, 50 組の手法の量子化誤差が強く相関している(約 0.82 )。
  論文  参考訳（メタデータ） (2025-05-24T16:17:50Z)
• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
  ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。 現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。 本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
  論文  参考訳（メタデータ） (2024-07-09T12:06:03Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Qu-ANTI-zation: Exploiting Quantization Artifacts for Achieving Adversarial Outcomes [5.865029600972316]
  量子化(quantization)は、ニューラルネットワークのパラメータ表現を浮動小数点数から低精度の数値に変換する技術である。 逆量子化結果を実装するための新しいトレーニングフレームワークを提案する。 1つの妥協されたモデルが複数の量子化スキームを破ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T10:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。