論文の概要: The Role of Quantization in Loss Spikes

• arxiv url: http://arxiv.org/abs/2610.38277v2
• Date: Mon, 02 Nov 2026 18:11:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.001072
• Title: The Role of Quantization in Loss Spikes
• Title（参考訳）: ロススパイクにおける量子化の役割
• Abstract要約: 言語モデルの事前トレーニングにおける損失の急増は、実質的な計算と脱線を無駄にし、そうでなければ健全なトレーニング実行を無駄にする可能性がある。 これらの不安定性の第一の要因は、最終言語モデリング(LM)ヘッドにおける出力ロジットの成長と分散である。 これらの不安定性は、LMヘッドの量子化誤差が急速に増加し、最終的に損失スパイクに終止符が打たれることに先行している。
• 参考スコア（独自算出の注目度）: 70.74108854506768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss spikes in language model pretraining can waste substantial compute and derail otherwise healthy training runs. A primary driver of these instabilities is the growth and divergence of output logits in the final language modeling (LM) head. In this work, we study a particularly costly form of this instability associated with output logit growth: delayed, terminal divergences that emerge only after prolonged training, which we call time-bomb spikes. We find that these instabilities are preceded by rapidly growing quantization error in the LM head, which eventually culminates in a loss spike. Crucially, reducing numerical precision accelerates time-bomb spikes, while increasing precision improves stability. We then propose a simple yet effective mitigation that replaces AdamW on the LM head with SGD with momentum, suppressing logit growth and improving stability over long training horizons. Finally, we find that existing mitigation techniques from the literature (along with our own) all reduce quantization error, suggesting a shared numerical mechanism behind their effectiveness. Together, our results identify finite precision error as a hidden driver of time-bomb spikes and show that suppressing this error is key to stable long-horizon pretraining.
• Abstract（参考訳）: 言語モデルの事前トレーニングにおける損失の急増は、実質的な計算と脱線を無駄にし、そうでなければ健全なトレーニング実行を無駄にする可能性がある。 これらの不安定性の第一の要因は、最終言語モデリング(LM)ヘッドにおける出力ロジットの成長と分散である。 本研究では, 長期トレーニング後にのみ出現する遅延, 終端発散, 時間ボムスパイク(time-bomb spikes)という, 出力ロジット成長に伴う, この不安定性の特にコストのかかる形態について検討する。 これらの不安定性は、LMヘッドの量子化誤差が急速に増加し、最終的に損失スパイクに終止符が打たれることに先行している。 決定的に、数値的な精度の低下は時間ボムのスパイクを加速させ、精度の向上は安定性を向上させる。 次に,LMヘッド上のAdamWを運動量でSGDに置き換え,ロジト成長を抑制し,長期訓練地平線上での安定性を向上する簡易かつ効果的な緩和法を提案する。 最後に、文献からの既存の緩和技術は、いずれも量子化誤差を低減し、その効果の裏にある共有数値機構が示唆されている。 その結果, 有限精度誤差を時間ボムスパイクの隠れドライバとして同定し, この誤差を抑えることが, 安定な長距離事前学習の鍵であることを示唆した。

関連論文リスト

• Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes [4.886486588387005]
  ディープニューラルネットワークは、非正規化された長期トレーニング中に周期的な損失スパイクを示す。 本稿では,この現象が浮動小数点演算の精度限界の結果であることを示す。 我々はこのメカニズムがスリングショットのスパイク前の急激なノルム成長を説明できることを示した。
  論文  参考訳（メタデータ） (2026-05-07T12:45:21Z)
• Spike-driven Large Language Model [49.52947423982696]
  スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。 現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。 本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
  論文  参考訳（メタデータ） (2026-04-11T17:58:35Z)
• On GRPO Collapse in Search-R1: The Lazy Likelihood-Displacement Death Spiral [59.14787085809595]
  この障害を引き起こす中核的なメカニズムとしてLazy Likelihood Displacement(LLD)を同定する。 LDDは早期に出現し、自己強化性LDDデススパイラル(LDD Death Spiral)を引き起こす。 本稿では,GRPO のための軽量な確率保存正則化 LLDS を提案する。
  論文  参考訳（メタデータ） (2025-12-03T19:41:15Z)
• Short-Range Dependency Effects on Transformer Instability and a Decomposed Attention Solution [0.0]
  自己アテンション機構(SA)は、トークンの豊富なベクトル表現を、他者との関係をシーケンスでモデル化することによって学習する。 SAの短距離依存関係をキャプチャする能力に制限があるため、急速に成長し、トレーニングを不安定にする。 本稿では,ロジット爆発を緩和するLong Short-attention (LS-attention)を提案する。
  論文  参考訳（メタデータ） (2025-05-21T14:12:30Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)
• Spike No More: Stabilizing the Pre-training of Large Language Models [38.34737204307412]
  ロススパイクは、大きな言語モデルの事前訓練中に発生することが多い。 サブ層に対するヤコビ行列のスペクトルノルムの解析を通して勾配ノルムを小さくする因子を探索する。 予備訓練プロセスの安定化には, 小さいサブレイヤと大きなショートカットの2つの条件が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-28T08:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。