Fugu-MT 論文翻訳(概要): Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults

論文の概要: Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults

arxiv url: http://arxiv.org/abs/2311.15051v3
Date: Wed, 29 May 2024 06:56:37 GMT
ステータス: 処理完了
システム内更新日: 2024-05-31 00:00:32.687319
Title: Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
Title（参考訳）: Polyak モメンタムを呈し, 大型カタパルトによる発火性小腫の発見
Authors: Prin Phunyaphibarn, Junghyun Lee, Bohan Wang, Huishuai Zhang, Chulhee Yun,
Abstract要約: 線形対角線ネットワークや非線形ニューラルネットワークの場合,学習率の高い運動量勾配は大きなカタパルトを示す。我々は、大きなカタパルトは自己安定化効果の「延長」によって引き起こされると仮定する。
参考スコア（独自算出の注目度）: 29.460606138017276
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although gradient descent with Polyak's momentum is widely used in modern machine and deep learning, a concrete understanding of its effects on the training trajectory remains elusive. In this work, we empirically show that for linear diagonal networks and nonlinear neural networks, momentum gradient descent with a large learning rate displays large catapults, driving the iterates towards much flatter minima than those found by gradient descent. We hypothesize that the large catapult is caused by momentum "prolonging" the self-stabilization effect (Damian et al., 2023). We provide theoretical and empirical support for our hypothesis in a simple toy example and empirical evidence supporting our hypothesis for linear diagonal networks.
Abstract（参考訳）: ポリアクの運動量による勾配降下は、現代の機械や深層学習で広く使われているが、訓練軌道に対するその影響の具体的な理解はいまだ解明されていない。本研究では, 線形対角線ネットワークや非線形ニューラルネットワークの場合, 学習率の高い運動量勾配は大きなカタパルトを呈し, 勾配勾配よりもはるかに平坦なミニマに向かって反復することを示した。大カタパルトは自己安定化効果(Damian et al , 2023)の運動量"延長"によって引き起こされると仮定する。我々は、単純なおもちゃの例と線形対角ネットワークの仮説を支持する実証的な証拠で、我々の仮説を理論的、実証的に支持する。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文参考訳（メタデータ） (2024-02-20T16:01:42Z)
Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
論文参考訳（メタデータ） (2023-10-03T12:35:02Z)
The Law of Parsimony in Gradient Descent for Learning Deep Linear Networks [34.85235641812005]
我々は、データが低次元構造を持つ場合、学習力学において驚くべき「パシモニーの法則」を明らかにする。この学習力学の単純さは、効率的なトレーニングとディープネットワークのより良い理解の両方に重大な影響を及ぼす可能性がある。
論文参考訳（メタデータ） (2023-06-01T21:24:53Z)
Catapult Dynamics and Phase Transitions in Quadratic Nets [10.32543637637479]
カタパルト相は2層モデルと2層同種ニューラルネットを含む多種モデルのモデルに存在することを証明します。一定範囲の学習率において,損失が大きいと重みノルムが低下することを示す。また、この理論的に導出された範囲を超えて学習率を実証的に研究し、超臨界学習率で訓練されたReLUネットの活性化マップが、学習率を増加させるにつれて、より疎結合になることを示す。
論文参考訳（メタデータ） (2023-01-18T19:03:48Z)
Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
論文参考訳（メタデータ） (2022-01-28T07:31:19Z)
Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文参考訳（メタデータ） (2021-12-06T18:17:08Z)
Implicit bias of deep linear networks in the large learning rate phase [15.846533303963229]
大規模学習率体系におけるロジスティック損失を用いた二項分類のための深い線形ネットワークの暗黙バイアス効果を特徴付ける。データの分離条件により、勾配降下反復はカタパルト相においてより平坦な最小値に収束すると主張する。
論文参考訳（メタデータ） (2020-11-25T06:50:30Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
A Modular Analysis of Provable Acceleration via Polyak's Momentum: Training a Wide ReLU Network and a Deep Linear Network [13.170519806372072]
本稿では,一層ワイドReLUネットワークとディープリニアネットワークをトレーニングするために,Polyakの運動量の漸近加速線形速度を示す。この研究は、運動量によってニューラルネットのトレーニングが加速されることを証明している。
論文参考訳（メタデータ） (2020-10-04T16:16:22Z)
The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。