論文の概要: QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

• arxiv url: http://arxiv.org/abs/2608.13966v1
• Date: Fri, 14 Aug 2026 05:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.287434
• Title: QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction
• Title（参考訳）: QuaSAR: 量子化学習における損失フローの低減と損失認識再構築
• Abstract要約: QUISARはトレーニングループにおいて損失認識の再構築を継続的に行い、損失フロアを低くし、結果として生じる低ビットモデルを改善する。 競合QAT法では,2,3,4ビットで最低値のKL分散を実現する。 8つのタスクの平均精度を、強いQATとPTQベースラインよりも3.5-4.3ポイント向上させる。
• 参考スコア（独自算出の注目度）: 29.200349824129102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language model inference shifts toward lower precision, post-training quantization (PTQ) becomes increasingly brittle, making quantization-aware training (QAT) essential for preserving model quality. However, QAT computes the loss and surrogate gradients using a lossy reconstruction of latent full-precision weights, while applying updates to the latent weights themselves. This mismatch can lead to suboptimal training trajectories and a higher loss floor. Second-order PTQ methods mitigate a similar gap by minimizing loss-aware reconstruction error, but doing it once for a frozen model can take hours; repeating this process throughout QAT as the weights evolve is impractical. We introduce QUASAR, a QAT method that continuously performs lightweight, loss-aware reconstruction in the training loop to lower the loss floor and improve the resulting low-bit model. At each training step, QUASAR uses the exponential moving average of squared gradients as online saliency estimates, searches over a small set of clipping ranges, and fits affine dequantizers via saliency-weighted least squares. Our analysis shows that the loss-aware reconstruction error is the only reconstruction-dependent term in the QAT convergence bound and controls the loss of the final quantized model, establishing QUASAR's objective as a principled optimization target. QUASAR modifies only the training procedure and supports standard deployment formats, including integer quantization and NVFP4, with no inference-time changes or overhead. Across Qwen3 and Llama-3.1, QUASAR achieves the lowest held-out KL divergence among competitive QAT methods at 2, 3, and 4 bits, reducing KL by at least 10% at 3 and 4 bits and by 29% at 2 bits. At 2 bits, it improves average accuracy across eight tasks by 3.5-4.3 percentage points over strong QAT and PTQ baselines.
• Abstract（参考訳）: 大規模言語モデル推論が低い精度にシフトするにつれて、後学習量子化(PTQ)はますます脆弱になり、モデル品質を維持するために量子化対応トレーニング(QAT)が不可欠になる。 しかし、QATは、潜伏重み自体の更新を行いながら、潜伏重みの損失のある再構成を用いて、損失と代理勾配を計算する。 このミスマッチは、最適な訓練軌道とより高い損失フロアにつながる可能性がある。 2階PTQ法は損失認識再構成誤差を最小化することで同様のギャップを緩和するが、凍結モデルのために1回行うと数時間かかることがある。 トレーニングループにおいて、損失フロアを低くし、結果として生じる低ビットモデルを改善するために、軽量で損失を意識した再構築を継続的に行うQAT手法であるQUISARを導入する。 トレーニングの各ステップでは、オンラインサリエンシの推定値として2乗勾配の指数的な移動平均を使い、小さなクリップ範囲を探索し、サリエンシ重み付き最小二乗によるアフィン減量器を適合させる。 分析の結果,QAT収束境界における復元依存項は損失認識再構成誤差のみであり,最終量子化モデルの損失を制御し,quiSARの目的を最適化目標として確立した。 QUISARはトレーニング手順のみを変更し、整数量子化やNVFP4を含む標準のデプロイメントフォーマットをサポートする。 Qwen3 と Llama-3.1 にまたがって、quiSAR は競合 QAT 法において2, 3, 4 ビットで最小の持ち出し KL 分岐を達成し、KL を 3 ビットと 4 ビットで少なくとも10%、そして 2 ビットで 29% 削減する。 2ビットで、8つのタスクの平均精度を、強いQATとPTQベースラインよりも3.5-4.3ポイント向上する。

関連論文リスト

• ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training [12.549469252572079]
  大規模推論モデル(LRM)は、長いチェーン・オブ・シークレットを通じて強力な問題解決を実現する。 LRMは、完全精度推論とKVキャッシュフットプリントの増大によるコストの高い制約を受ける。 3つのコンポーネントを持つ推論中心のFP4トレーニングフレームワークであるReQATを提案する。
  論文  参考訳（メタデータ） (2026-06-14T09:00:06Z)
• SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization [7.372706701787234]
  学習後量子化(PTQ)は,大規模言語モデルを効率的に展開するための一般的な手法として登場した。 SERQは1つの低ランク補償行列を用いる低ビットLLM推論のためのサリエンシ対応誤差再構成法である。
  論文  参考訳（メタデータ） (2026-03-09T10:04:12Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。