論文の概要: The large learning rate phase of deep learning: the catapult mechanism
- arxiv url: http://arxiv.org/abs/2003.02218v1
- Date: Wed, 4 Mar 2020 17:52:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 12:34:14.703279
- Title: The large learning rate phase of deep learning: the catapult mechanism
- Title(参考訳): 深層学習における大きな学習速度相:カタパルト機構
- Authors: Aitor Lewkowycz, Yasaman Bahri, Ethan Dyer, Jascha Sohl-Dickstein, Guy
Gur-Ari
- Abstract要約: 問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
- 参考スコア(独自算出の注目度): 50.23041928811575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The choice of initial learning rate can have a profound effect on the
performance of deep networks. We present a class of neural networks with
solvable training dynamics, and confirm their predictions empirically in
practical deep learning settings. The networks exhibit sharply distinct
behaviors at small and large learning rates. The two regimes are separated by a
phase transition. In the small learning rate phase, training can be understood
using the existing theory of infinitely wide neural networks. At large learning
rates the model captures qualitatively distinct phenomena, including the
convergence of gradient descent dynamics to flatter minima. One key prediction
of our model is a narrow range of large, stable learning rates. We find good
agreement between our model's predictions and training dynamics in realistic
deep learning settings. Furthermore, we find that the optimal performance in
such settings is often found in the large learning rate phase. We believe our
results shed light on characteristics of models trained at different learning
rates. In particular, they fill a gap between existing wide neural network
theory, and the nonlinear, large learning rate, training dynamics relevant to
practice.
- Abstract(参考訳): 初期学習率の選択は、ディープネットワークの性能に大きな影響を及ぼす可能性がある。
本稿では,学習ダイナミクスを解き明かすニューラルネットワークのクラスを示し,その予測を実際のディープラーニング環境で経験的に確認する。
ネットワークは、小さくて大きな学習率で鋭く異なる行動を示す。
2つの体制は相転移によって分離される。
小さな学習率のフェーズでは、無限大ニューラルネットワークの既存の理論を用いてトレーニングを理解することができる。
大きな学習率で、モデルは定性的に異なる現象を捉え、グラデーション降下ダイナミクスをフラットな最小値に収束させる。
我々のモデルの1つの重要な予測は、広範囲で安定した学習率である。
実際のディープラーニング環境では,モデル予測とトレーニングダイナミクスとの間によい一致が得られます。
さらに,このような設定における最適性能は,大きな学習率フェーズでよく見られることがわかった。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
特に、既存の広義のニューラルネットワーク理論と、非線形で大きな学習率、練習に関連するトレーニングダイナミクスとのギャップを埋める。
関連論文リスト
- Why do Learning Rates Transfer? Reconciling Optimization and Scaling
Limits for Deep Learning [77.82908213345864]
学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。
ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
論文 参考訳(メタデータ) (2024-02-27T12:28:01Z) - An effective theory of collective deep learning [1.3812010983144802]
我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。
線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。
MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
論文 参考訳(メタデータ) (2023-10-19T14:58:20Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳(メタデータ) (2023-08-01T22:12:30Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳(メタデータ) (2021-12-06T18:17:08Z) - How to Train Your Neural Network: A Comparative Evaluation [1.3654846342364304]
大規模分散ディープラーニングのための最先端フレームワークについて論じ,比較する。
大規模画像と言語訓練における性能を比較した実験結果を示す。
この結果に基づいて,性能を阻害する各フレームワークのアルゴリズム的部分と実装的部分について議論する。
論文 参考訳(メタデータ) (2021-11-09T04:24:42Z) - Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。
動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
論文 参考訳(メタデータ) (2021-10-16T16:51:05Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Sparse Meta Networks for Sequential Adaptation and its Application to
Adaptive Language Modelling [7.859988850911321]
Sparse Meta Networksは、ディープニューラルネットワークのオンラインシーケンシャル適応アルゴリズムを学習するためのメタ学習アプローチである。
層固有の高速メモリでディープニューラルネットワークを強化する。
様々な逐次適応シナリオにおいて高い性能を示す。
論文 参考訳(メタデータ) (2020-09-03T17:06:52Z) - An analytic theory of shallow networks dynamics for hinge loss
classification [14.323962459195771]
我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。
我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。
これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
論文 参考訳(メタデータ) (2020-06-19T16:25:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。