論文の概要: CAST: History-Adaptive Spectral Clipping for LLM Pretraining

• arxiv url: http://arxiv.org/abs/2610.19761v1
• Date: Wed, 14 Oct 2026 08:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.031094
• Title: CAST: History-Adaptive Spectral Clipping for LLM Pretraining
• Title（参考訳）: CAST: LLMプレトレーニングのための履歴適応スペクトルクリッピング
• Abstract要約: 我々はSCの履歴適応拡張であるCAST(Clipping with Adaptive Scales and Thresholds)を紹介する。 CASTは、9つの勾配処理ベースラインよりも低いトレーニングと平均バリデーション損失を達成する。 ベースラインでの最後のスムーズなトレーニング損失は7.2%減少している。
• 参考スコア（独自算出の注目度）: 23.747542704521234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft spectral clipping (SSC) reduces gradient singular values, but its effect depends on the gradient scale and clipping threshold. We introduce CAST (Clipping with Adaptive Scales and Thresholds), a history-adaptive extension of SSC. AdamW's previous second moment sets row and column scales. An exponential moving average of the clipped output's estimated spectral norm sets each matrix's threshold. CAST restores the original coordinates before the AdamW update. We train a mixture-of-experts (MoE) model with 19.08B total parameters for 83.89B tokens. CAST achieves lower training and mean validation losses than nine gradient-processing baselines, with the fewest relative gradient spikes. It reaches the best baseline's final smoothed training loss in 7.2\% fewer steps.
• Abstract（参考訳）: ソフトスペクトルクリッピング(SSC)は勾配特異値を減少させるが、その効果は勾配スケールとクリッピング閾値に依存する。 我々はSCの履歴適応拡張であるCAST(Clipping with Adaptive Scales and Thresholds)を紹介する。 AdamWの以前の2番目のモーメントは、行と列のスケールを設定する。 カットされた出力の推定スペクトルノルムの指数的な移動平均は、各行列の閾値を設定する。 CASTはAdamW更新の前に元の座標を復元する。 83.89Bトークンに対して19.08Bの合計パラメータを持つMix-of-experts(MoE)モデルを訓練する。 CASTは、9つの勾配処理ベースラインよりも低いトレーニングと平均バリデーション損失を達成し、最も少ない相対勾配スパイクを達成している。 ベースラインでの最後のスムーズなトレーニング損失は7.2\%減少する。

関連論文リスト

• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• Residual Koopman Spectral Profiling for Predicting and Preventing Transformer Training Instability [40.24077350481118]
  トランスフォーマーのトレーニングのばらつきは計算を無駄にするが、実践者は高価なランニングの開始後にのみ不安定を発見する。 我々はRKSP(Residual Koopman Spectral Profiling)について検討した。 我々の中心的な診断は、近単位スペクトル質量であり、単位円の近くに集中したモードの分画を定量化し、不安定なリスクを捉えます。
  論文  参考訳（メタデータ） (2026-02-26T13:33:25Z)
• GradES: Significantly Faster Training in Transformers with Gradient-Based Early Stopping [9.8335797454886]
  早期停止はグローバルなバリデーション損失を監視し、すべてのパラメータ更新を同時に停止する。 textitGradESは、トランスフォーマーコンポーネント内で動作可能な、新しい勾配ベースの早期停止アプローチである。 textitGradESはトレーニング時間を1.57--7.22$times$で高速化すると同時に、オーバーフィッティングの早期防止による一般化を同時に強化する。
  論文  参考訳（メタデータ） (2025-09-01T23:51:12Z)
• ZClip: Adaptive Spike Mitigation for LLM Pre-Training [0.3574867616159909]
  大規模言語モデル(LLM)のトレーニングには、勾配不安定性や損失スパイクなど、数多くの課題がある。 定数法やノルム法のような従来の勾配クリッピング技術は、これらの問題に効果的に対処できない。 本研究では,時間とともに勾配規範の統計的特性に基づいてクリッピング閾値を動的に調整する適応的勾配クリッピングアルゴリズムZClipを提案する。
  論文  参考訳（メタデータ） (2025-04-03T11:41:55Z)
• Stable-SPAM: How to Train in 4-Bit More Stably than 16-Bit Adam [94.00189300897694]
  低ビット精度は感度学習率を増幅し、しばしば不安定な勾配ノルムを引き起こす。 本研究では, 勾配正規化とクリッピングを併用したスタブルSPAMを提案する。 実験により,Stable-SPAMは4ビットトレーニングの勾配ノルムを効果的に安定化し,AdamやSPAMよりも優れた性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-02-24T11:09:15Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Stable and low-precision training for large-scale vision-language models [108.62077651227607]
  本稿では,大規模言語ビジョンモデルの学習の高速化と安定化のための新しい手法を提案する。 Int8量子化トレーニングのための線形層であるSwitchBackを導入し,13～25%の高速化を実現した。 安定のために、損失スパイクを解析し、二乗勾配が過小評価された後に連続して1～8回発生することを発見した。
  論文  参考訳（メタデータ） (2023-04-25T17:38:18Z)
• Decreasing scaling transition from adaptive gradient descent to stochastic gradient descent [1.7874193862154875]
  本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。 実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
  論文  参考訳（メタデータ） (2021-06-12T11:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。