論文の概要: Mixed Precision Scaling Laws for Quantized Pretraining

• arxiv url: http://arxiv.org/abs/2610.17637v1
• Date: Tue, 13 Oct 2026 03:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:03:53.73755
• Title: Mixed Precision Scaling Laws for Quantized Pretraining
• Title（参考訳）: 量子化事前学習のための混合精密スケーリング法則
• Abstract要約: 本研究では,前進パスと後進パスの混合精度で事前学習を定量化するための,より正確なスケーリング法則を開発する。 我々の定式化は、量子化がモデル容量と最適化効率に与える影響を分離する。 従来の精度スケーリング法とは異なり、我々の法則は計算予算によって最適な精度が増加することを予測している。
• 参考スコア（独自算出の注目度）: 13.56180746394408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since scaling laws were introduced for modern LLMs (Kaplan et al., 2020), several works have extended them to account for quantization, tracking the emerging low-precision data types supported on AI accelerators. We develop a more accurate scaling law for quantized pretraining with mixed precision across the forward and backward passes, grounded in optimization theory and validated empirically. Our formulation separates the effects of quantization on model capacity and on optimization efficiency, and explicitly models the persistent optimization error from forward and backward quantization identified through convergence analysis. To select the regimes for fitting and evaluating our law, we first decompose existing 4-bit training recipes into their forward and backward components, isolating those that most affect loss. Our Qwen3 experiments under selected 4-bit regimes, together with published Llama-style experiments, show that our law predicts loss with up to $11\times$ lower MSE than existing laws as model size and token count scale. Finally, we extend our law to layer-wise mixed precision and identify the optimal quantized-pretraining recipe, i.e., model size, training tokens, and per-layer forward/backward precision, under a hardware-aware compute budget. Unlike prior precision scaling laws, our law predicts that the optimal precision increases with the compute budget.
• Abstract（参考訳）: 現代のLLM(Kaplan et al , 2020)にスケーリング法が導入されて以来、いくつかの研究が、AIアクセラレーターでサポートされている新しい低精度データタイプを追跡する量子化を考慮に入れている。 我々は、最適化理論に基礎を置き、実証的に検証された、前方と後方のパスに混合した精度で、量子化事前学習のためのより正確なスケーリング法則を開発する。 我々の定式化は、量子化がモデル容量と最適化効率に与える影響を分離し、収束解析により同定された前方および後方の量子化から永続的な最適化誤差を明示的にモデル化する。 まず, 既存の4ビットトレーニングレシピを前方および後方の構成要素に分解し, 損失に最も影響したレシピを分離する。 選択された4ビット状態下でのQwen3実験は、Llamaスタイルの実験とともに、我々の法則がモデルサイズやトークン数スケールなどの既存の法則よりも最大11\times$MSEの損失を予測していることを示している。 最後に,本法則を層単位での混合精度に拡張し,ハードウェア対応の計算予算の下で,モデルサイズ,トレーニングトークン,レイヤごとの前方/後方精度といった最適な量子化予測レシピを同定する。 従来の精度スケーリング法とは異なり、我々の法則は計算予算によって最適な精度が増加することを予測している。

関連論文リスト

• ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
  NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。 特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
  論文  参考訳（メタデータ） (2026-05-30T08:26:16Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Scaling Laws for Precision [73.24325358259753]
  トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。 推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。 トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T00:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。