論文の概要: Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models
- arxiv url: http://arxiv.org/abs/2610.13524v1
- Date: Fri, 09 Oct 2026 12:47:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.583509
- Title: Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models
- Title（参考訳）: 階層的ランダム特徴モデルによるディープニューラルネットワークのトレーニングスパイクのシミュレーション
- Abstract要約: LLM(Large Language Models)の事前訓練中の間欠的なスパイクの損失は、いまだに謎の現象である。
これらのスパイクを再現できるのは、重く、パワーローな分散インプットを持つ単純な二次モデルである。
- 参考スコア（独自算出の注目度）: 10.36936266903523
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intermittent ``spikes'' in loss, during the pre-training of Large Language Models (LLMs), remains a mysterious phenomenon both theoretically and empirically. In this paper, we show that simple quadratic models with heavy-tailed, power-law distributed inputs can replicate these spikes. We introduce a theoretical framework and simulation algorithm to model per-layer training dynamics of Deep Neural Networks (DNNs), using such quadratic models. In a case study on an Adam hyperparameter configuration (where $β_2$ is set close to $1$) known to induce spikes in Transformer LMs, our simulation successfully predicts bumps indicating spiky behavior from a given checkpoint. Furthermore, we derive an appropriate $β_2$ schedule from observed metrics, which empirically improves performance.
- Abstract（参考訳）: LLM(Large Language Models)の事前訓練中に失った「spikes」の断続的な損失は、理論的にも経験的にも謎の現象である。
本稿では,重み付きパワーロー分散入力を用いた2次モデルにより,これらのスパイクを再現できることを示す。
このような二次モデルを用いて,ディープニューラルネットワーク(DNN)の層間トレーニングダイナミクスをモデル化するための理論的枠組みとシミュレーションアルゴリズムを提案する。
トランスフォーマーLMのスパイクを誘導することで知られるAdamハイパーパラメータの構成($β_2$は1ドル近く設定されている)に関するケーススタディでは、所定のチェックポイントからスパイクの振る舞いを示すバンプをうまく予測する。
さらに、観測値から適切な$β_2$スケジュールを導出し、性能を実証的に改善する。
関連論文リスト
- Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks [10.591718074748895]
本研究では,2層ニューラルネットワークの動的平均場理論による学習ダイナミクスについて検討する。
大きなネットワーク幅$m$と入力次元$n/d$あたりのサンプル数に対して、トレーニングダイナミクスは時間スケールの分離を示す。
論文 参考訳（メタデータ） (2025-02-28T17:45:26Z) - A General Framework of the Consistency for Large Neural Networks [0.0]
ニューラルネットワークの平均積分正方形誤差(MISE)を研究するための一般化正規化フレームワークを提案する。
筆者らのフレームワークから,MISE曲線は2つの可能な形状,すなわち2重降下形と単調下降形であることがわかった。
論文 参考訳（メタデータ） (2024-09-21T12:25:44Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。
等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
論文 参考訳（メタデータ） (2023-02-13T09:30:25Z) - Simple lessons from complex learning: what a neural network model learns
about cosmic structure formation [7.270598539996841]
我々は、宇宙論的N体シミュレーションの完全な位相空間進化を予測するためにニューラルネットワークモデルを訓練する。
本モデルでは, 非線形スケールでの精度を, COLAに対して有意な改善を示す$ksim 1 MathrmMpc-1, h$で達成する。
論文 参考訳（メタデータ） (2022-06-09T15:41:09Z) - Quadratic models for understanding catapult dynamics of neural networks [15.381097076708535]
近年提案されたニューラル二次モデルでは,そのようなモデルを大きな学習率で訓練する際に生じる「カタパルト相」が示されることが示されている。
さらに,2次モデルがニューラルネットワーク解析の有効なツールであることを示す。
論文 参考訳（メタデータ） (2022-05-24T05:03:06Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。