論文の概要: Why do Learning Rates Transfer? Reconciling Optimization and Scaling
Limits for Deep Learning
- arxiv url: http://arxiv.org/abs/2402.17457v1
- Date: Tue, 27 Feb 2024 12:28:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 16:22:43.014513
- Title: Why do Learning Rates Transfer? Reconciling Optimization and Scaling
Limits for Deep Learning
- Title(参考訳): 学習率の伝達はなぜか?
ディープラーニングのための最適化とスケーリングの限界
- Authors: Lorenzo Noci, Alexandru Meterez, Thomas Hofmann, Antonio Orvieto
- Abstract要約: 学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。
ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
- 参考スコア(独自算出の注目度): 77.82908213345864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, there has been growing evidence that if the width and depth of a
neural network are scaled toward the so-called rich feature learning limit
($\mu$P and its depth extension), then some hyperparameters - such as the
learning rate - exhibit transfer from small to very large models, thus reducing
the cost of hyperparameter tuning. From an optimization perspective, this
phenomenon is puzzling, as it implies that the loss landscape is remarkably
consistent across very different model sizes. In this work, we find empirical
evidence that learning rate transfer can be attributed to the fact that under
$\mu$P and its depth extension, the largest eigenvalue of the training loss
Hessian (i.e. the sharpness) is largely independent of the width and depth of
the network for a sustained period of training time. On the other hand, we show
that under the neural tangent kernel (NTK) regime, the sharpness exhibits very
different dynamics at different scales, thus preventing learning rate transfer.
But what causes these differences in the sharpness dynamics? Through a
connection between the spectra of the Hessian and the NTK matrix, we argue that
the cause lies in the presence (for $\mu$P) or progressive absence (for the NTK
regime) of feature learning, which results in a different evolution of the NTK,
and thus of the sharpness. We corroborate our claims with a substantial suite
of experiments, covering a wide range of datasets and architectures: from
ResNets and Vision Transformers trained on benchmark vision datasets to
Transformers-based language models trained on WikiText
- Abstract(参考訳): 近年、ニューラルネットワークの幅と深さが、いわゆるリッチな特徴学習限界(\mu$Pとその深さ拡張)に向かってスケールされている場合、学習率などのハイパーパラメータは、小さなモデルから非常に大きなモデルへの転送を示すため、ハイパーパラメータチューニングのコストが削減されるという証拠が増えている。
最適化の観点からは、この現象は極めて異なるモデルサイズで、損失ランドスケープが顕著に一致していることを示すため、ファジィである。
本研究は,学習速度伝達が$\mu$Pとその深さ延長の下で,トレーニング損失ヘッセン(すなわち鋭さ)の最大固有値が,ネットワークの幅と深さから持続的なトレーニング期間に大きく依存しているという事実に起因する,実証的な証拠を見出した。
一方,ニューラル・タンジェント・カーネル(ntk)環境下では,シャープネスは異なるスケールで非常に異なるダイナミクスを示し,学習速度の伝達を阻害することを示した。
しかし、なぜシャープネスのダイナミクスに違いが生じるのか?
ヘッセン行列とNTK行列のスペクトルの接続を通して、原因は特徴学習の存在($\mu$P)や進行的不在(NTK体制)にあると論じ、それがNTKの異なる進化をもたらし、鋭さをもたらす。
ベンチマークビジョンデータセットでトレーニングされたresnetsやvision transformersからwikitextでトレーニングされたtransformersベースの言語モデルまで、幅広いデータセットとアーキテクチャをカバーする。
関連論文リスト
- Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural
Architectures [9.91972450276408]
本稿では,2次損失景観情報を活用した自動スケーリング手法を提案する。
我々の手法は、現代の視覚変換器におけるメインステイの接続をスキップするために柔軟である。
本稿では,視覚変換器の最初の無傷スケーリング機構について紹介する。
論文 参考訳(メタデータ) (2024-02-19T09:52:45Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Feature-Learning Networks Are Consistent Across Widths At Realistic
Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。
トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。
しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文 参考訳(メタデータ) (2023-05-28T17:09:32Z) - Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean
Field Neural Networks [47.73646927060476]
広義だが有限な特徴学習ニューラルネットワークにおける有限幅効果のダイナミクスを解析する。
我々の結果は、特徴学習の強みにおいて非摂動的である。
論文 参考訳(メタデータ) (2023-04-06T23:11:49Z) - Frozen Overparameterization: A Double Descent Perspective on Transfer
Learning of Deep Neural Networks [27.17697714584768]
ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。
目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。
また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-20T20:26:23Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。