論文の概要: Adaptive Preconditioners Trigger Loss Spikes in Adam

• arxiv url: http://arxiv.org/abs/2506.04805v1
• Date: Thu, 05 Jun 2025 09:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.631111
• Title: Adaptive Preconditioners Trigger Loss Spikes in Adam
• Title（参考訳）: アダプティブ・プレコンディショナーのトリガー、アダムで失う
• Authors: Zhiwei Bai, Zhangchen Zhou, Jiajie Zhao, Xiaolong Li, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Yaoyu Zhang, Zhi-Qin John Xu,
• Abstract要約: Adamプリコンディショナーを使用すると、さまざまなアーキテクチャとスケールのニューラルネットワークを横断するトレーニング中に、損失のスパイクが一般的に発生する。 これまでの説明では、これらの現象は損失景観の低損失化特性に起因している。 第二次モーメント推定よりも二乗がかなり小さくなり、後者が$beta$-exponential崩壊する臨界状態を特定する。 この不安定さは勾配と最大固有方向とのアライメントをもたらし、勾配方向の曲率が2/eta$を超えると正確に損失スパイクが発生する。
• 参考スコア（独自算出の注目度）: 13.978861012576399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss spikes emerge commonly during training across neural networks of varying architectures and scales when using the Adam optimizer. In this work, we investigate the underlying mechanism responsible for Adam spikes. While previous explanations attribute these phenomena to the lower-loss-as-sharper characteristics of the loss landscape, our analysis reveals that Adam's adaptive preconditioners themselves can trigger spikes. Specifically, we identify a critical regime where squared gradients become substantially smaller than the second-order moment estimates, causing the latter to undergo a $\beta_2$-exponential decay and to respond sluggishly to current gradient information. This mechanism can push the maximum eigenvalue of the preconditioned Hessian beyond the classical stability threshold $2/\eta$ for a sustained period, inducing instability. This instability further leads to an alignment between the gradient and the maximum eigendirection, and a loss spike occurs precisely when the gradient-directional curvature exceeds $2/\eta$. We verify this mechanism through extensive experiments on fully connected networks, convolutional networks, and Transformer architectures.
• Abstract（参考訳）: Adamオプティマイザを使用すると、さまざまなアーキテクチャとスケールのニューラルネットワークを横断するトレーニング中に、損失のスパイクが一般的に発生する。 本研究では,アダムスパイクの原因となるメカニズムについて検討する。 過去の説明では、これらの現象はロスランドスケープの低いロス・アズ・シャーパー特性に起因しているが、Adamの適応型プレコンディショナー自体がスパイクを引き起こす可能性がある。 具体的には、2階のモーメント推定よりも2階の勾配がかなり小さくなり、後者が$\beta_2$-exponential崩壊し、現在の勾配情報に緩やかに応答する臨界状態を特定する。 この機構は、条件付きヘッセンの最大固有値を古典的安定性閾値2/\eta$を超え、不安定を引き起こす。 この不安定性はさらに勾配と最大固有方向とのアライメントをもたらし、勾配方向の曲率が2/\eta$を超えると正確に損失のスパイクが発生する。 我々は、完全に接続されたネットワーク、畳み込みネットワーク、トランスフォーマーアーキテクチャに関する広範な実験を通じて、このメカニズムを検証する。

関連論文リスト

• The Epochal Sawtooth Effect: Unveiling Training Loss Oscillations in Adam and Other Optimizers [8.770864706004472]
  テキストEpochal Sawtooth Effect (ESE) と呼ばれる繰り返し学習損失パターンを特定し解析する。 このパターンは、各エポックの始めに急激な損失が減少し、その後徐々に増加し、ソートゥース状の損失曲線が生じる。 Epochal Sawtooth 効果に繋がるメカニズムの詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-14T00:51:21Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks [30.467121747150816]
  本稿では,ニューラルネットワークの深部で一般的に発生する,いわゆる消滅勾配現象を再考する。 ネットワーク幅が O(depth) 未満のスケールでは, 消失勾配を回避できないことを示す。
  論文  参考訳（メタデータ） (2021-06-07T16:29:59Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Early Stopping in Deep Networks: Double Descent and How to Eliminate it [30.61588337557343]
  ネットワークの異なる部分が異なるエポックで学習されるため、エポックワイズな二重降下が発生することを示す。 本研究では,2つの標準畳み込みネットワークを実証的に検討し,異なる階層の段差調整によるエポックな二重降下の除去が早期停止性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-20T13:43:33Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。