論文の概要: The Devil Is in the Reconstruction Loss Scale: Rethinking Optimization in LLM Quantization

• arxiv url: http://arxiv.org/abs/2610.00983v1
• Date: Thu, 01 Oct 2026 03:19:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.877086
• Title: The Devil Is in the Reconstruction Loss Scale: Rethinking Optimization in LLM Quantization
• Title（参考訳）: レコンストラクション・ロス・スケールの悪魔: LLM量子化における最適化の再考
• Abstract要約: 逐次量子化の全体像を考察し、最適化が第1の量子化段階から第2の量子化段階へどのように進化するかを考察する。 再建の損失の程度は, 高度に不均一な勾配の程度とともに, 段々大きく変化することがわかった。 この結果は,学習に基づくPTQを改善するための一般的な原則を示唆している。
• 参考スコア（独自算出の注目度）: 12.669562128859319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) methods typically use sequential quantization that partitions a pre-trained LLM into a series of units (e.g., transformer blocks), with one unit quantized at each stage. State-of-the-art PTQ methods are predominantly learning-based, optimizing auxiliary quantization parameters (e.g., scaling factors, rotation matrices, clipping thresholds, and adapters) via gradient descent to minimize a reconstruction loss. A common practice is to use mean squared error (MSE) as the reconstruction loss function, yet its induced optimization behavior remains largely unexplored. In this work, we take a holistic view of sequential quantization and systematically investigate how optimization evolves from the first quantization stage to the last, aiming for a deep understanding of optimization in learning-based PTQ schemes. Through extensive empirical studies spanning representative learning-based PTQ methods, LLM families, model scales, architectures, quantization settings and various tasks, we consistently uncover Optimization Imbalance: reconstruction loss magnitudes vary dramatically across stages, accompanied by highly uneven gradient magnitudes and parameter updates under MSE. We term the cross-stage range of loss magnitudes the reconstruction loss scale, and reveal that MSE translates the unexpectedly large reconstruction loss scale into highly uneven gradient magnitudes, which in turn lead to uneven optimization strength across quantization stages. This finding suggests a general principle for improving learning-based PTQ: optimization strength across stages should be decoupled from the reconstruction loss scale. Theoretically, we show that root mean squared error (RMSE) variants defined at the sample, channel, token, and element levels naturally realize this principle through implicit gradient normalization, outperforming MSE significantly as a drop-in replacement.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)法は典型的には、事前学習されたLCMを一連の単位(例えば、トランスフォーマーブロック)に分割するシーケンシャル量子化を用いており、各段階で1つの単位を量子化する。 State-of-the-the-art PTQ法は主に学習に基づく手法であり、再構成損失を最小限に抑えるため、勾配降下による補助量子化パラメータ(例えば、スケーリング係数、回転行列、クリッピングしきい値、アダプタ)を最適化する。 一般的な方法は、平均二乗誤差(MSE)を復元損失関数として用いることであるが、その誘導最適化の挙動はほとんど探索されていない。 本研究では、シーケンシャル量子化の全体像を考察し、学習ベースのPTQスキームにおける最適化の深い理解を目指して、最適化が第1の量子化段階から第2の量子化段階へどのように進化するかを体系的に検討する。 代表学習に基づくPTQ手法,LLMファミリー,モデルスケール,アーキテクチャ,量子化設定,さまざまなタスクにまたがる広範な実証研究を通じて,最適化の不均衡を明らかにする。 本研究は,MSEが予期せぬ大きさの復元損失スケールを高度に不均一な勾配スケールに変換し,その結果,量子化段階間の不均一な最適化強度を導出することを示す。 この結果は,学習に基づくPTQを改善するための一般的な原則を示唆している。 理論的には、サンプル、チャネル、トークン、および要素レベルで定義されたルート平均二乗誤差(RMSE)は、暗黙の勾配正規化によってこの原理を自然に実現し、MSEをドロップイン置換として著しく上回ることを示す。

関連論文リスト

• Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models [7.1292230757125905]
  後学習量子化(PTQ)は、大規模視覚活性化モデル(LVLM)の効率的な展開を可能にする 近年のLVLMのPTQ法では感度信号が組み込まれているが,完全精度モデルでは再現損失が最小化されている。 本稿では、最適化を超えて精度と正規化のバランスをとる量子化効果に基づくフレームワークであるBa balanced Fittingを提案する。
  論文  参考訳（メタデータ） (2026-09-28T09:48:10Z)
• Quantum Tilted Loss in Variational Optimization: Theory and Applications [2.274915755738124]
  最適化ランドスケープを再構築するために、Quantum Tilted Loss (QTL)を導入します。 QTLは、問題の真のグローバルなミニマを保ちながら、構造化された設定で勾配信号を増幅することができる。 トレーニング可能性と予測可能性のトレードオフを形式化し、アグレッシブな傾きが最適化のボトルネックを根本的に変えることを示す。
  論文  参考訳（メタデータ） (2026-05-04T17:25:43Z)
• LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs [11.773543873657752]
  可逆変換をアクティベーションに適用することで、量子化を大幅に改善することができる。 現代のハードウェアは、マイクロスケーリング(MX)データフォーマットをますますサポートしている。 学習可能な非可逆アフィン変換への外乱還元を一般化する手法である LATMiX を提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:32:27Z)
• Two-Stage Grid Optimization for Group-wise Quantization of LLMs [7.058456257544851]
  グループワイド量子化は、大規模言語モデルの低ビット量子化における精度劣化を緩和するための効果的な戦略である。 本稿では,階層的再構成損失を明示的に最小化するグループスケールの2段階最適化フレームワークを提案する。 提案手法は群量子化を常に強化し, 無視できるオーバーヘッドで高い精度を実現する。
  論文  参考訳（メタデータ） (2026-02-02T14:12:34Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。