論文の概要: Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training

• arxiv url: http://arxiv.org/abs/2610.09183v1
• Date: Tue, 06 Oct 2026 22:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.635137
• Title: Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
• Title（参考訳）: Q-PACE:量子化学習のための動的精度割当
• Abstract要約: 一般的な治療法は混合精度トレーニング(mixed-precision training)であり、コストの制約を保ちながらパフォーマンスを維持するために高い精度をいくつかのレイヤに割り当てる。 本稿では,Q-PACEと呼ばれる2次感度モデルを用いて,各層曲率係数の重み付けによる量子化雑音MSEの和として損失増加を予測する手法を提案する。 最大4BパラメータのLLMの事前トレーニングおよび教師付き微調整実験により、Q-PACEは既存の混合精度トレーニングレシピよりも一貫して改善されていることが示された。
• 参考スコア（独自算出の注目度）: 84.42814959140664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization-aware training (QAT) leverages lower-precision arithmetic to reduce the cost of LLM deployment, but aggressive quantization degrades final model performance. A common remedy is mixed-precision training, in which high precision is assigned to some of the layers to maintain performance while keeping the cost constrained. This approach then requires precision assignments for model layers during training. We provide a new approach, called Q-PACE, consisting of a second-order sensitivity model that predicts the loss increase as a sum of quantization noise MSE weighted by per-layer curvature coefficients. During training, we periodically re-compute these coefficients using perturbations across layers, and re-assign precision. Pretraining and supervised fine-tuning experiments on LLMs of up to 4B parameters show that Q-PACE consistently improves over existing mixed-precision training recipes, and achieves comparable loss at substantially lower total memory budgets. We further find that quantization sensitivity is highly predictable by depth and layer type, and its stability during training allows for infrequent, cheap recalibration.
• Abstract（参考訳）: QAT(Quantization-Aware Training)は、LLMデプロイメントのコストを削減するために、低精度演算を利用するが、アグレッシブな量子化は最終的なモデル性能を低下させる。 一般的な治療法は混合精度トレーニング(mixed-precision training)であり、コストの制約を保ちながらパフォーマンスを維持するために高い精度をいくつかのレイヤに割り当てる。 このアプローチでは、トレーニング中にモデルレイヤの正確な割り当てが必要になる。 本稿では,Q-PACEと呼ばれる2次感度モデルを用いて,各層曲率係数の重み付けによる量子化雑音MSEの和として損失増加を予測する手法を提案する。 トレーニング中、我々は定期的にこれらの係数を層間の摂動を用いて再計算し、精度を再割り当てする。 最大4BパラメータのLPMの事前トレーニングと教師付き微調整実験により、Q-PACEは既存の混合精度トレーニングレシピよりも一貫して改善され、メモリ全体の予算が大幅に削減された。 さらに、量子化感度は、深さや層タイプによって高い予測が可能であり、トレーニング中の安定性は、頻繁で安価な再校正を可能にする。

関連論文リスト

• WINDQuant: Weight-Informed Neural Decision-Making for Global Mixed-Precision LLM Quantization [40.655670203062805]
  WINDQuantは超低ビットLLM量子化のための強化学習に基づくアロケーションコントローラである。 グローバルストレージ予算の下で、ビット幅と量子化処理をきめ細かいカラムチャンクに割り当てる方法を学ぶ。 LLaMAモデルを用いた実験により、WINDQuantは超低ビット設定で競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-05-26T07:46:13Z)
• SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training [5.341188930460575]
  現在の混合精度トレーニングアプローチは、すべてのGEMM操作に均一な精度を適用するか、トレーニング中に一般化に失敗する手法に依存するかのどちらかである。 本稿では,サブバイト精度をサポートするLSMプレトレーニングのための微粒化適応型混合精度学習フレームワークSNIPを紹介する。 1B, 3B, 7B, 70B Llamaのようなモデルに対する実験は、SNIPが既存のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-02-01T19:34:27Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。