論文の概要: Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization

• arxiv url: http://arxiv.org/abs/2610.12444v1
• Date: Thu, 08 Oct 2026 17:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.260213
• Title: Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
• Title（参考訳）: プレコンディショナー空間におけるラウンド:4ビットAdamWオプティマイザ状態量子化の再設計
• Abstract要約: AdamW状態の量子化は永続的なストレージを削減するが、量子化エラーはモーメントの繰り返しとその後の適応更新を通じて伝播する。 我々は,AdamWの4ビット状態量子化を,周辺空間の観点から,量子化器が隣接した再構成レベルを選択する座標として用いている。
• 参考スコア（独自算出の注目度）: 8.112356447063354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantizing AdamW's optimizer states reduces persistent storage, but quantization errors propagate through the moment recurrences and perturb subsequent adaptive updates. We redesign 4-bit optimizer-state quantization for AdamW from the perspective of \emph{rounding space}: the coordinate in which a quantizer chooses between adjacent reconstruction levels. For the second moment, a local analysis of the quantization cell adjacent to zero shows that small mean state error need not imply small mean preconditioner error at the next step. A one-dimensional quadratic construction further shows qualitatively different optimization dynamics under state-space and preconditioner-space rounding. These results motivate Zero-Inclusive Preconditioner-space Stochastic Rounding (\textbf{ZIP-SR}), which retains zero in the second-moment codebook and computes stochastic-rounding probabilities in preconditioner space. As a complementary route, Zero-Excluding EDEN calibration (\textbf{ZE-EDEN}) uses a zero-excluding second-moment codebook and rescales the quantized second-moment block to mitigate the preconditioner distortion caused by the positive quantization floor. Both configurations use 4-bit NormalFloat (NF4) for the first moment, with targeted stochastic rounding of the LM-head first moment during the final 10\% of training. Across GPT- and Llama-style pretraining experiments ranging from \textbf{130M} to \textbf{2.7B} parameters, both methods reduce TorchAO 4-bit AdamW's mean validation-loss gap to 32-bit AdamW at every evaluated model size, with the largest reported gap reduction reaching \textbf{70\%}. In full-parameter supervised fine-tuning, both recipes achieve lower validation loss than TorchAO while remaining close to 32-bit AdamW on downstream tasks.
• Abstract（参考訳）: AdamWのオプティマイザ状態の量子化は、永続的なストレージを削減するが、量子化エラーは、モーメントの繰り返しを通じて伝播し、その後の適応更新を乱す。 我々は,AdamW の 4ビットオプティマイザ状態量子化を,隣接する再構成レベルから量子化器が選択する座標である \emph{rounding space} の観点から再設計する。 第2の瞬間において、ゼロに隣接する量子化セルの局所解析は、小さな平均状態誤差が次のステップで小さな平均プレコンディショナエラーを含まないことを示している。 1次元二次構造はさらに、状態空間とプレコンディショナー空間のラウンドリングの下で、定性的に異なる最適化ダイナミクスを示す。 これらの結果は、ゼロ・インクルーシブなプレコンディショナー空間の確率的ラウンドリング (\textbf{ZIP-SR}) を動機付け、これは第2モーメントのコードブックにゼロを保持し、プレコンディショナー空間における確率的ラウンドの確率を計算する。 補完経路として、ゼロ排他EDENキャリブレーション (\textbf{ZE-EDEN}) はゼロ排他的な第2モーメントコードブックを使用し、量子化された第2モーメントブロックを再スケールして、正の量子化フロアによるプレコンディショナ歪みを緩和する。 どちらの構成も初めて4ビットのノーマルフロート(NF4)を使用し、最終10倍のトレーニングでLMヘッドの第1モーメントを目標とした確率的なラウンドリングを行う。 GPT-およびLlama-style Pretraining experiment across \textbf{130M} to \textbf{2.7B} parameters, both method reduce to TorchAO 4-bit AdamW's mean validation-loss gap to 32-bit AdamW at every evaluate model size, with the largest reported gap reduction to \textbf{70\%}。 フルパラメータによる微調整では、両方のレシピはTorchAOよりも低い検証損失を達成し、下流タスクでは32ビットのAdamWに近づいた。

関連論文リスト

• Quantization-Aware Pre-Training with Constrained Empirical Weight Distribution [7.09016563801433]
  QAPT(Quantization-Aware Pre-Training)は、DNNの推論効率を向上させる。 丸みを帯びた振動と呼ばれる問題行動は、トレーニングプロセスに有害ノイズを導入し、収束速度を著しく減少させる。 我々は$bfC$onstrained $textbfE$mpirical $textbfW$eight dis$textbfT$ribution (CEWT) を用いて最適化を提案する。
  論文  参考訳（メタデータ） (2026-09-26T14:17:38Z)
• Predict Before You Deploy: Offline Prediction of Quantization-Induced Task Degradation for World Action Models [2.347191837057308]
  トレーニング後の量子化はメモリを削減するが、ビット幅、グループ化、および量子化器の選択は大きな構成空間を定義する。 オフライン動作偏差から量子化によるタスク劣化を予測するためのポリシ校正フレームワークであるPreDEを提案する。 独立に調整された2つのポリシーに対する450のフランカ・リサーチ3の試験では、試験前に高分解能グループに割り当てられた全ての構成が著しく劣化した。
  論文  参考訳（メタデータ） (2026-09-16T21:25:37Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Fine-tuning Quantized Neural Networks with Zeroth-order Optimization [21.0540879091664]
  我々は、勾配推定のために連続量子化スケールを摂動する単純で効果的な方法である量子化ゼロ階最適化(QZO)を提案する。 QZOは4ビットLLMの合計メモリコストを18ドル以上削減でき、24GBのGPUでLlama-2-13Bを微調整できる。
  論文  参考訳（メタデータ） (2025-05-19T17:55:15Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。