論文の概要: Understanding the Weight Averaging Mechanism in LLM Training for Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2610.05329v1
• Date: Sun, 04 Oct 2026 15:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:34:56.46716
• Title: Understanding the Weight Averaging Mechanism in LLM Training for Post-Training Quantization
• Title（参考訳）: 後量子化のためのLLMトレーニングにおける平均化メカニズムの理解
• Abstract要約: PTQに基づく平均重量測定のための理論的枠組みを開発した。 粗い量子化は摂動の影響を受けやすいが、より微細な量子化は影響を受けないことを示すことができる。
• 参考スコア（独自算出の注目度）: 28.249346877034654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are typically pretrained in high precision but increasingly deployed with low-precision post-training quantization (PTQ). Recent studies have shown that using weight averaging during pretraining can improve PTQ performance compared with learning-rate decay, suggesting that it might provide a simple way to improve the pretraining-to-quantization transition. But the mechanism behind weight averaging remains insufficiently explained. This leads to inconsistent and fragile performance gains, thereby preventing practitioners from applying such a technique confidently. As a response, we formulate weight averaging as a trade-off between retaining training progress and improving robustness under perturbation. We further derive a continuous family of averaging kernels that unifies conventional strategies and achieves the Pareto frontier between the two competing goals. Critically, a theoretical framework for performing weight averaging under PTQ is developed. It can be shown that coarser quantization is more susceptible to perturbations, whereas finer quantization could be less affected. Thus, our results could provide unified theoretical guidance for performing weight averaging under different PTQ conditions. Experiments validate both the predicted behavior and the proposed averaging strategy. Code is available at https://github.com/MOFA-LAB/weight-averaging-for-ptq.
• Abstract（参考訳）: 大規模言語モデル (LLM) は通常、高精度で事前訓練されるが、低精度のポストトレーニング量子化 (PTQ) によって徐々に展開される。 近年の研究では、事前学習における重量平均化は、学習速度の低下に比べてPTQ性能を向上させることが示されており、事前学習からクォート化への移行を改善するための簡単な方法である可能性が示唆されている。 しかし、重量平均化のメカニズムはいまだに十分に説明されていない。 これにより、不整合性と脆弱なパフォーマンスが向上し、実践者が自信を持ってこのテクニックを適用するのを防ぐことができる。 その結果、トレーニングの進捗の維持と摂動時の堅牢性向上のトレードオフとして平均重量推定を定式化する。 さらに、従来の戦略を統一し、2つの競合する目標の間のパレートフロンティアを達成する、平均的なカーネルの連続的なファミリーを導出する。 PTQ下での重量平均化の理論的枠組みを開発した。 粗い量子化は摂動の影響を受けやすいが、より微細な量子化は影響を受けないことを示すことができる。 そこで本研究では,PTQの異なる条件下で平均化を行うための統一的な理論的ガイダンスを提供することができた。 予測行動と提案した平均化戦略の両方を検証する実験。 コードはhttps://github.com/MOFA-LAB/weight-averaging-for-ptq.comで公開されている。

関連論文リスト

• Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models [7.1292230757125905]
  後学習量子化(PTQ)は、大規模視覚活性化モデル(LVLM)の効率的な展開を可能にする 近年のLVLMのPTQ法では感度信号が組み込まれているが,完全精度モデルでは再現損失が最小化されている。 本稿では、最適化を超えて精度と正規化のバランスをとる量子化効果に基づくフレームワークであるBa balanced Fittingを提案する。
  論文  参考訳（メタデータ） (2026-09-28T09:48:10Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)
• Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning [29.284147465251685]
  重み付けと量子化の両方を統一した環境でカバーする新しい圧縮フレームワークを提案する。 既存のポストトレーニング手法の圧縮精度トレードオフにより, 大幅な改善が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-24T14:33:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。