論文の概要: Beyond Outliers: A Study of Optimizers Under Quantization

• arxiv url: http://arxiv.org/abs/2509.23500v2
• Date: Thu, 02 Oct 2025 15:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 14:32:17.136777
• Title: Beyond Outliers: A Study of Optimizers Under Quantization
• Title（参考訳）: 外れ値を超える:量子化下での最適化に関する研究
• Authors: Georgios Vlassis, Saleh Ashkboos, Alexandra Volkova, Torsten Hoefler, Dan Alistarh,
• Abstract要約: 量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
• 参考スコア（独自算出の注目度）: 82.75879062804955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As new optimizers gain traction and model quantization becomes standard for efficient deployment, a key question arises: how does the choice of optimizer affect model performance in the presence of quantization? Despite progress in both areas, systematic evidence on optimizer-quantization interactions remains limited. To fill this gap, we study the impact of optimizer choice on model robustness under quantization, considering both post-training quantization (PTQ), and quantization-aware training (QAT). We first train full-precision models, ranging from 50M to 1.5B parameters, with six optimizers, to explore the hyperparameter landscape, and establish well-tuned baselines. We then apply PTQ to evaluate how model performance degrades when trained with different optimizers. We find that outlier-related metrics, such as the max-to-mean ratio (MMR) and Kurtosis, fail to predict the PTQ performance across different optimizers. We show analytically that this is due to the MMR capturing only isolated layer errors, while ignoring how quantization errors accumulate and propagate through the network. To study the QAT degradation, we train quantized models from scratch and compare them to our original-precision baselines. We find that optimizers performing well in the original pretraining setup may not remain optimal under QAT, and that models trained with Shampoo show the lowest accuracy degradation. Finally, we derive scaling laws for quantization-aware training under different optimizers, showing that Shampoo achieves the highest parameter efficiency of all tested optimizers.
• Abstract（参考訳）: 新しいオプティマイザが勢いを増し、モデル量子化が効率的なデプロイメントの標準となるにつれ、重要な疑問が生じる。 どちらの分野でも進歩しているにもかかわらず、オプティマイザ-量子化相互作用に関する体系的な証拠は依然として限られている。 このギャップを埋めるために、学習後量子化(PTQ)と量子化対応トレーニング(QAT)の両方を考慮して、量子化下のモデルロバスト性に対するオプティマイザ選択の影響について検討する。 まず,5000Mから1.5Bのパラメータを6つの最適化器でトレーニングし,ハイパーパラメータの風景を探索し,高度に調整されたベースラインを確立する。 次に、PTQを適用して、異なるオプティマイザでトレーニングした場合のモデル性能の劣化を評価する。 その結果,最大平均比 (MMR) やクルトシス (Kurtosis) といった外乱関連指標は,異なる最適化器間でPTQ性能を予測できないことがわかった。 これは、MMRが分離された層エラーのみをキャプチャし、量子化エラーがネットワークを介してどのように蓄積して伝播するかを無視したためである。 QAT劣化を研究するために、スクラッチから量子化されたモデルをトレーニングし、元の精度ベースラインと比較する。 また,本モデルでは,初期事前訓練では最適動作が得られず,シャンプーでトレーニングしたモデルでは精度の低下が最少であることが示唆された。 最後に、異なるオプティマイザによる量子化対応トレーニングのスケーリング法則を導出し、シャンプーが全テストオプティマイザの最大パラメータ効率を達成することを示す。

関連論文リスト

• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• Low-Bit, High-Fidelity: Optimal Transport Quantization for Flow Matching [0.0]
  Flow Matching (FM) 生成モデルは、効率的なシミュレーションなしのトレーニングと決定論的サンプリングを提供するが、その実践的展開は高精度なパラメータ要求によって困難である。 我々は、最適輸送(OT)に基づくポストトレーニング量子化をFMモデルに適用し、量子化とオリジナルウェイトの間の2-ワッサーシュタイン距離を最小化し、その一様、一様、対数量子化スキームに対する効果を体系的に比較する。
  論文  参考訳（メタデータ） (2025-11-14T15:49:36Z)
• Compute-Optimal Quantization-Aware Training [50.98555000360485]
  量子化対応トレーニング(QAT)は、量子化されたニューラルネットワークの精度を向上させるための主要な技術である。 従来の研究では、トレーニングを完全精度(FP)フェーズに分解し、QATフェーズが続くと、より優れた精度が得られることが示されている。 最終性能に及ぼすQAT時間の影響について検討する。
  論文  参考訳（メタデータ） (2025-09-26T21:09:54Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• PTQAT: A Hybrid Parameter-Efficient Quantization Algorithm for 3D Perception Tasks [9.463776523295303]
  ポストトレーニング量子化(PTQ)と量子アウェアトレーニング(QAT)は、2つの主流モデル量子化アプローチを表す。 本稿では,3次元知覚ネットワークの効率的な展開のための新しいハイブリッド量子化アルゴリズムPTQATを提案する。
  論文  参考訳（メタデータ） (2025-08-14T11:55:21Z)
• Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs? [42.608899417822656]
  本研究では,501BパラメータLLM変種を用いて,系統的な事前学習構成を持つデータセットを構築した。 本稿では,事前学習から得られた新しい教師なしおよび教師なしのプロキシメトリクスを導入し,相対的な性能予測誤差率を50%以上削減する。
  論文  参考訳（メタデータ） (2025-04-16T21:19:09Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
  現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。 これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。 本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
  論文  参考訳（メタデータ） (2024-02-25T15:42:12Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
  ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。 我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。 提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-10-05T02:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。