論文の概要: Revisiting the Adam-SGD Gap in LLM Pre-Training: The Role of Large Effective Learning Rates

• arxiv url: http://arxiv.org/abs/2605.17787v1
• Date: Mon, 18 May 2026 03:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.615
• Title: Revisiting the Adam-SGD Gap in LLM Pre-Training: The Role of Large Effective Learning Rates
• Title（参考訳）: LLM事前学習におけるAdam-SGDギャップの再考:大規模効果的な学習率の役割
• Abstract要約: 勾配降下(SGD)は、事前訓練された大規模言語モデルにおいて、Adamのような適応型よりも著しく悪化する。 本研究では,SGDがAdamの効果的な学習率に匹敵する学習率を維持することができないことによる相違点の大部分を考察する。 本研究では,SGDを大規模学習率で安定化させる単純なクリッピング機構により,Adamの性能の大半を回復できることを示す。
• 参考スコア（独自算出の注目度）: 14.645982276552592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is widely believed that stochastic gradient descent (SGD) performs significantly worse than adaptive optimizers such as Adam in pre-training Large Language Models (LLMs). Yet the underlying reason for this gap remains unclear. In this work, we attribute a large part of the discrepancy to SGD's inability to sustain learning rates comparable to Adam's much larger effective learning rates. Through empirical and theoretical analysis of LLM pre-training dynamics, we identify that training is characterized by small gradient norms and large weight-to-gradient ratios, an effect that becomes more pronounced with larger batch sizes typical in pre-training, necessitating such large effective learning rates. However, we find that output-layer gradient magnitudes become highly uneven across token classes, and that large gradient spikes frequently occur during training. Together, these effects severely restrict the admissible learning rate of SGD. Guided by this understanding, we show that simple clipping mechanisms that stabilize SGD at large learning rates enable it to recover most of Adam's performance. In our large-scale experiments, the validation loss gap between large-learning-rate SGD and Adam shrinks from more than 50% to only about 3.5% when pre-training a 1B-parameter LLaMA model with a 1M-token batch size.
• Abstract（参考訳）: 確率勾配勾配降下 (SGD) は, 事前学習型大規模言語モデル (LLMs) において, アダムのような適応最適化器よりも著しく低下していると広く信じられている。 しかし、このギャップの根底にある理由はいまだ不明である。 本研究では,SGDがAdamの効果的な学習率に匹敵する学習率を維持することができないことによる相違点の大部分を考察する。 LLM事前学習力学の実証的および理論的解析により、トレーニングは小さな勾配ノルムと大きな重量から勾配の比率によって特徴づけられるが、これは事前学習で典型的な大きなバッチサイズでより顕著になり、そのような大きな効果的な学習速度を必要とする効果である。 しかし,出力層勾配の等級はトークンクラス間で非常に不均一となり,トレーニング中に大きな勾配のスパイクが発生することが判明した。 これらとともに、これらの効果はSGDの許容学習率を著しく制限する。 本研究では,SGDを大規模学習速度で安定化させる単純なクリッピング機構により,Adamの性能の大半を回復できることを示す。 大規模実験では,1Mのバッチサイズを持つ1BパラメータLLaMAモデルの事前学習において,大規模学習率SGDとAdamの検証損失ギャップは50%以上から3.5%程度に縮小する。

関連論文リスト

• On the Nonlinearity of Learning Rate Scaling for LLM Training [18.557199144090017]
  学習速度の転送は、大きな言語モデルをトレーニングするコストを削減できる。 既存のアプローチでは、最適な学習速度はデータスケールとモデルサイズにおける対数線形スケーリング則に従うと仮定されることが多い。
  論文  参考訳（メタデータ） (2026-06-28T02:42:47Z)
• Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs [21.242959630751663]
  本研究では,強化学習が従来よりもパラメータ効率が高いことを示す。 実験により、よりメモリ効率のよいSGDが一致し、LLMのRLにおいてAdamWより優れることが示された。
  論文  参考訳（メタデータ） (2026-02-07T23:25:26Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
  トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。 この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。 標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
  論文  参考訳（メタデータ） (2025-10-16T14:17:38Z)
• FOCUS: First Order Concentrated Updating Scheme [9.278468089636547]
  大規模言語モデル(LLM)は目覚ましいパフォーマンスを示し、事前トレーニングプロセスを改善することが、その機能をさらに強化する鍵であるようだ。 勾配問合せノイズが谷の鋭さに比例して高い場合、AdamのパフォーマンスはSignumよりも劣る。 FOCUSは,移動平均パラメータに対するアトラクションを取り入れて,より大きなステップサイズを維持しつつ,ノイズをよりよく扱えるようにすることで,シグナブルを向上する。
  論文  参考訳（メタデータ） (2025-01-21T16:03:42Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• No More Adam: Learning Rate Scaling at Initialization is All You Need [13.892699813809857]
  SGD-SaIは運動量による勾配降下(SGDM)の簡易かつ効果的な増強である 適応的な2階運動量に頼ることなく学習率を調整することで、SGD-SaIはトレーニングの不均衡を第1段階から防ぐことができる。 その単純さと効率にもかかわらず、SGD-SaIは様々なトランスフォーマーベースのタスクのトレーニングにおいて、AdamWと一貫して一致し、より優れています。
  論文  参考訳（メタデータ） (2024-12-16T13:41:37Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• On Avoiding Local Minima Using Gradient Descent With Large Learning Rates [48.42061343682201]
  我々は、降下(GD)の成功につながるメカニズムの完全な理解は、明らかに大きなステップサイズを使用することの効果を考慮する必要があるかもしれないと論じる。 ステップサイズが大きいGDは、ステップサイズが小さいGDとは異なる軌道を辿り、世界最小値に収束することを示す。 また,ニューラルネットワークにGDを適用した場合,学習速度が小さい場合と大きい場合のトラジェクトリの違いも示す。
  論文  参考訳（メタデータ） (2022-05-30T14:35:32Z)
• On the Generalization Benefit of Noise in Stochastic Gradient Descent [34.127525925676416]
  ディープニューラルネットワークにおけるバッチ勾配勾配よりも、ミニバッチ勾配勾配がより一般化できるという主張は、長年にわたって議論されてきた。 小さいバッチサイズや中程度のバッチサイズは、テストセットにおいて非常に大きなバッチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-06-26T16:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。