論文の概要: Quantization-Aware Pre-Training with Constrained Empirical Weight Distribution

• arxiv url: http://arxiv.org/abs/2609.32659v1
• Date: Sat, 26 Sep 2026 14:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:37:07.215181
• Title: Quantization-Aware Pre-Training with Constrained Empirical Weight Distribution
• Title（参考訳）: 拘束された経験的重量分布を伴う量子化対応事前学習
• Abstract要約: QAPT(Quantization-Aware Pre-Training)は、DNNの推論効率を向上させる。 丸みを帯びた振動と呼ばれる問題行動は、トレーニングプロセスに有害ノイズを導入し、収束速度を著しく減少させる。 我々は$bfC$onstrained $textbfE$mpirical $textbfW$eight dis$textbfT$ribution (CEWT) を用いて最適化を提案する。
• 参考スコア（独自算出の注目度）: 7.09016563801433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization-Aware Pre-Training (QAPT) can increase the inference efficiency of DNNs, but a problematic behaviour known as rounding boundary weight oscillation can introduce detrimental noise into the training process and significantly reduce convergence speed. While existing methods can reduce this detrimental noise, they either introduce additional hyperparameters or memory overhead, or cannot consistently improve model accuracy. In this work, we propose optimization with $\textbf{C}$onstrained $\textbf{E}$mpirical $\textbf{W}$eight dis$\textbf{T}$ribution (CEWT), the first hyperparameter-free memory-overhead-free oscillation suppression method that consistently improves QAPT performance: an optimizer post-update step that projects weights to the nearest point in weight space whose empirical distribution (histogram) matches a zero-mean Gaussian. Our key insight is many quantizers are designed with the implicit assumption that the to-be-quantized data are permutations of samples from a zero-mean Gaussian, and this assumption is not true during QAPT. By enforcing the zero-mean Gaussian prior as a hard constraint, CEWT can suppress this detrimental noise. Empirical results on various combinations of SOTA quantizers and hypersphere optimizers suggest, that with a geomean increase of 4% in training time, CEWT can consistently reduce the pre-training perplexity (by an average of 2.5 and up to 21 points) of low-precision (down to 1-bit activations and weights and up to 610M parameters) LLaMA/GPT models without introducing any hyperparameters or storage overhead. Code is available at https://github.com/1733116199/cewt
• Abstract（参考訳）: QAPT(Quantization-Aware Pre-Training)は、DNNの推論効率を高めることができるが、ラウンドリング境界重み振動と呼ばれる問題行動は、トレーニングプロセスに有害ノイズを導入し、収束速度を著しく減少させる。 既存の手法では、この有害ノイズを減らすことができるが、追加のハイパーパラメータやメモリオーバーヘッドを導入するか、モデルの精度を一貫して改善することはできない。 本研究では、QAPT性能を常に改善する最初のハイパーパラメータフリーメモリオーバヘッドフリー発振抑制手法であるCEWTを、経験分布(ヒストグラム)がゼロ平均ガウス分布に一致する重量空間の最も近い点に重みを投影するオプティマイザ後更新ステップで提案する。 我々の重要な洞察は、多くの量子化器は、量子化されたデータはゼロ平均ガウスのサンプルの置換であるという暗黙の仮定で設計されており、この仮定はQAPTの間は正しくないということである。 ゼロ平均ガウスをハード制約として強制することにより、CEWTはこの有害ノイズを抑制することができる。 SOTA量子化器とハイパースフィア最適化器の様々な組み合わせに関する実証的な結果は、測地線がトレーニング時間で4%増加すると、CEWTは、ハイパーパラメータやストレージオーバーヘッドを導入することなく、低精度(最大1ビットのアクティベーションとウェイトと最大610Mのパラメータ)の事前学習の難易度(平均2.5と最大21ポイント)を一貫して減少させることができることを示唆している。 コードはhttps://github.com/1733116199/cewtで入手できる。

関連論文リスト

• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
  モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。 単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。 また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
  論文  参考訳（メタデータ） (2026-03-30T17:51:47Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
  AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
  論文  参考訳（メタデータ） (2025-11-18T18:08:20Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Taming Sensitive Weights : Noise Perturbation Fine-tuning for Robust LLM Quantization [5.718172547021947]
  量子化誤差に対する感度重みの影響を抑えるため,NPFT(Noth Perturbation Fine-tuning)を提案する。 NPFTは、外周重量を同定し、外周重量のランダムな摂動を、PEFT最適化によるモデルとして追加する。 OPTおよびLLaMAモデルに適用すると、NPFT法は均一および非一様量子化器の安定な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-12-08T21:46:22Z)
• A2Q+: Improving Accumulator-Aware Weight Quantization [45.14832807541816]
  量子化技術は一般的に、重みとアクティベーションの精度を制限することにより、ニューラルネットワークの推論コストを削減している。 最近の研究は、トレーニング中にモデルの重みを制約し、推論中にターゲットのアキュムレータビット幅を安全に使用するための量子化対応トレーニング手法である、アキュムレータ対応量子化(A2Q)を提案する。 我々は、事前訓練された浮動小数点チェックポイントから量子化重みを初期化する新しい戦略であるA2Q+を紹介する。
  論文  参考訳（メタデータ） (2024-01-19T00:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。