論文の概要: The instabilities of large learning rate training: a loss landscape view
- arxiv url: http://arxiv.org/abs/2307.11948v1
- Date: Sat, 22 Jul 2023 00:07:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 18:59:39.857871
- Title: The instabilities of large learning rate training: a loss landscape view
- Title(参考訳): 大規模学習率トレーニングの不安定性--ロスランドスケープの展望
- Authors: Lawrence Wang and Stephen Roberts
- Abstract要約: 本研究では,学習率の高いネットワークトレーニングにおいて,ヘッセン行列を考慮した損失景観について検討する。
我々は勾配降下の不安定性を特徴づけ、テクトランドスケープ平坦化とテクトランドスケープシフトの顕著な現象を観察する。
- 参考スコア(独自算出の注目度): 2.4366811507669124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural networks are undeniably successful. Numerous works study how
the curvature of loss landscapes can affect the quality of solutions. In this
work we study the loss landscape by considering the Hessian matrix during
network training with large learning rates - an attractive regime that is
(in)famously unstable. We characterise the instabilities of gradient descent,
and we observe the striking phenomena of \textit{landscape flattening} and
\textit{landscape shift}, both of which are intimately connected to the
instabilities of training.
- Abstract(参考訳): 現代のニューラルネットワークは間違いなく成功している。
多くの研究が、損失景観の曲率が溶液の質に与える影響について研究している。
本研究では,大きな学習率を持つネットワークトレーニングにおいて,ヘッセン行列を考慮した損失景観について検討する。
勾配降下の不安定性を特徴とし,その不安定性と密接な関係にある \textit{landscape flattening} と \textit{landscape shift} の驚くべき現象を観察した。
関連論文リスト
- Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳(メタデータ) (2024-02-29T00:02:33Z) - Universal Sharpness Dynamics in Neural Network Training: Fixed Point
Analysis, Edge of Stability, and Route to Chaos [6.579523168465526]
ニューラルネットワークの降下力学では、Hessian of the loss(シャープネス)のトップ固有値はトレーニングを通して様々な堅牢な現象を示す。
1つのトレーニング例に基づいて訓練された単純な2ドル層線形ネットワーク(UVモデル)が、実世界のシナリオで観察されるすべての本質的なシャープネス現象を示すことを示した。
論文 参考訳(メタデータ) (2023-11-03T17:59:40Z) - Understanding and Combating Robust Overfitting via Input Loss Landscape
Analysis and Regularization [5.1024659285813785]
アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。
標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。
対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
論文 参考訳(メタデータ) (2022-12-09T16:55:30Z) - There is a Singularity in the Loss Landscape [0.0]
データセットのサイズが大きくなるにつれて、損失の勾配の大きさが無界となる点が形成される。
この特異性は、ニューラルネットワーク損失関数のヘッセンで最近観測された様々な現象を説明する。
論文 参考訳(メタデータ) (2022-01-12T01:50:06Z) - A Loss Curvature Perspective on Training Instability in Deep Learning [28.70491071044542]
学習力学における損失の曲率の影響を理解するため,多くの分類課題における損失ヘッセンの進化について検討した。
条件付けの観点から,学習率のウォームアップはバッチ正規化と同じくらいのトレーニング安定性を向上できることを示した。
論文 参考訳(メタデータ) (2021-10-08T20:25:48Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳(メタデータ) (2021-09-12T23:14:06Z) - Gradient Descent on Neural Networks Typically Occurs at the Edge of
Stability [94.4070247697549]
ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。
この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
論文 参考訳(メタデータ) (2021-02-26T22:08:19Z) - Tilting the playing field: Dynamical loss functions for machine learning [18.831125493827766]
学習中に周期的に進化する損失関数を用いて1つのクラスを同時に強調することにより、学習を改善することができることを示す。
改善は、損失を最小限に抑えるために進化するシステムのダイナミクスと、変化する損失景観の相互作用から生じる。
論文 参考訳(メタデータ) (2021-02-07T13:15:08Z) - On the Loss Landscape of Adversarial Training: Identifying Challenges
and How to Overcome Them [57.957466608543676]
機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。
曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
論文 参考訳(メタデータ) (2020-06-15T13:50:23Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳(メタデータ) (2020-06-12T06:00:27Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳(メタデータ) (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。