論文の概要: Does LLM Pre-Training Typically Occur at the Edge of Stability?

• arxiv url: http://arxiv.org/abs/2610.36778v1
• Date: Tue, 27 Oct 2026 07:44:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.24301
• Title: Does LLM Pre-Training Typically Occur at the Edge of Stability?
• Title（参考訳）: LLMプレトレーニングは一般的に安定性の端で発生するか?
• Abstract要約: 我々は2次近似の忠実さをニューラルネットワークのトレーニング力学のモデルとして再考する。 まず, 2次近似において, 負の曲率を持続的に保ち, 学習速度によらず2次力学が分岐する2次近似の失敗モードを強調した。 次に,適応勾配を用いた学習のための安定性のエッジ (EoS) の定義を提案する。
• 参考スコア（独自算出の注目度）: 18.48114771342779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quadratic approximations provide a common lens for studying neural network optimization, but recent evidence challenges their predictive validity. In full-batch gradient descent with learning rate (LR) $η$, Cohen et al. (2021) observed the Edge of Stability (EoS), where the largest Hessian eigenvalue concentrates near $2/η$, seemingly at odds with classical stability conditions predicted by quadratic approximations. In this work, we revisit the fidelity of quadratic approximations as a model of neural network training dynamics, with a particular focus on their failure modes in LLM training. We first highlight a distinct failure mode of the quadratic approximation, where persistent negative curvature causes the quadratic dynamics to diverge regardless of the LR, even though the real dynamics remain stable. We term this phenomenon the Edge of Convexity (EoC). After removing the effect of this LR-independent instability, we then propose a generalized definition of Edge of Stability (EoS) for stochastic training with adaptive optimizers, based on whether increasing the LR induces significant divergence in the quadratic dynamics while leaving the real dynamics largely unchanged. Across different LLM pretraining runs with various model sizes up to 787M, we find that (1) EoC is always observed across LLM pretraining, and (2) EoS is also prevalent but not universal: it disappears when the LR becomes sufficiently small (e.g., after decay) or when the batch size falls below a critical threshold that has a positive correlation with the critical batch size. Together, these findings characterize when and how quadratic approximations fail and provide a foundation for future work on understanding training dynamics.
• Abstract（参考訳）: 二次近似は、ニューラルネットワーク最適化の研究に共通のレンズを提供するが、最近の証拠は予測妥当性に挑戦している。 学習速度(LR)$η$のフルバッチ勾配下降では、Cohen et al (2021) が安定性のエッジ (EoS) を観察した。 本研究では,2次近似の忠実度をニューラルネットワークトレーニングダイナミクスのモデルとして再考し,LLMトレーニングにおける障害モードに着目した。 まず、2次近似の個別な失敗モードを強調し、そこでは、真の力学が安定であるにもかかわらず、2次力学がLRによらずばらつきを生じさせる。 この現象をEoC(Edge of Convexity)と呼ぶ。 このLR非依存的不安定性の影響を除去した後、適応最適化器を用いた確率的トレーニングのための安定性のエッジ(EoS)の一般化定義を提案する。 その結果, (1) EoC は LLM プレトレーニング全体にわたって常に観測され, (2) EoS は多用されるが普遍的ではない, 2) LR が十分に小さくなった場合(例えば, 崩壊後)や, バッチサイズが臨界しきい値以下になる場合(臨界バッチサイズと正の相関を持つ場合)に消失することがわかった。 これらの知見は, 二次近似がいつ, どのように失敗するかを特徴付けるとともに, トレーニング力学の理解に関する今後の研究の基盤となる。

関連論文リスト

• A Defense of the Quadratic Model [71.57026347416729]
  最も単純な最適化モデル -- 二次モデル -- をテストする。 1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
  論文  参考訳（メタデータ） (2026-07-23T18:02:03Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment [24.26630053194246]
  最適線形回帰器のトレースから明確な目的を持つ非競合型SSL方式PEIRAを紹介する。 安定な平衡は非自明な大域最小化であり、正準相関部分空間を回復し、正則化が有効次元を選択することを示す。
  論文  参考訳（メタデータ） (2026-05-17T22:04:01Z)
• Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives [22.29000001610794]
  Supervised Fine-Tuning (SFT) の標準的な負の対数構造は、均一なトークンレベルの重み付けを適用する。 この剛性は2重の障害モードを生成する: (i)低確率目標を過度に強調することは、ノイズの監督の勾配を増幅し、頑健な事前を妨害し、 (ii)一様重み付けは、モデルが既に自信を持っているときに弱いシャープニングを与える。 既存の方法は可塑性の解決に失敗し、不安定なジレンマがしばしば有害なジレンマとともに必要な学習信号を抑圧する。 パラメータ自由度を変調する動的エントロピーファインチューニング(DEFT)を導入する。
  論文  参考訳（メタデータ） (2026-02-11T22:56:43Z)
• Why Some Models Resist Unlearning: A Linear Stability Perspective [7.446140380340418]
  我々は線形コヒーレンス安定性のレンズを通してアンラーニングを行う。 我々は3つの軸に沿ってコヒーレンスを分解する。 データ特性と忘れやすさを更に関連付けるために,信号+雑音モデルの下で2層ReLU CNNについて検討する。 経験的幾何学では、ヘッセンテストとCNNヒートマップが予測境界と密接に一致していることを示し、安定性勾配に基づくアンラーニングを検証、混合、データ/モデルアライメントの関数としてマッピングする。
  論文  参考訳（メタデータ） (2026-02-03T01:47:26Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Scaling with Collapse: Efficient and Predictable Training of LLM Families [8.979516613284174]
  崩壊は計算効率のトレーニングのサインとして現れる。 計算効率のトレーニングのサインとして崩壊が現れることを示す。 大規模に2つの応用を実演する。
  論文  参考訳（メタデータ） (2025-09-29T17:26:11Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。