論文の概要: Role of Momentum in Smoothing Objective Function in Implicit Graduated
Optimization
- arxiv url: http://arxiv.org/abs/2402.02325v1
- Date: Sun, 4 Feb 2024 02:48:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:38:28.104214
- Title: Role of Momentum in Smoothing Objective Function in Implicit Graduated
Optimization
- Title(参考訳): 逐次最適化における平滑な目的関数におけるモメンタムの役割
- Authors: Naoki Sato and Hideaki Iiduka
- Abstract要約: 運動量を持つ勾配降下(SGD)は、高速収束と優れた一般化性を有する。
運動量を持つSGDは、学習速度、バッチサイズ、運動量係数、勾配のばらつき、勾配ノルムの上界によって決定される目的関数を滑らかにすることを示す。
- 参考スコア(独自算出の注目度): 0.8158530638728501
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While stochastic gradient descent (SGD) with momentum has fast convergence
and excellent generalizability, a theoretical explanation for this is lacking.
In this paper, we show that SGD with momentum smooths the objective function,
the degree of which is determined by the learning rate, the batch size, the
momentum factor, the variance of the stochastic gradient, and the upper bound
of the gradient norm. This theoretical finding reveals why momentum improves
generalizability and provides new insights into the role of the
hyperparameters, including momentum factor. We also present an implicit
graduated optimization algorithm that exploits the smoothing properties of SGD
with momentum and provide experimental results supporting our assertion that
SGD with momentum smooths the objective function.
- Abstract(参考訳): 運動量を持つ確率的勾配降下(sgd)は高速収束と優れた一般化性を持つが、理論的な説明は不足している。
本稿では,運動量を持つSGDが目的関数を滑らかにし,学習速度,バッチサイズ,運動量係数,確率勾配のばらつき,勾配ノルムの上界によって決定される度合いを示す。
この理論的な発見は運動量が一般化可能性を向上させる理由を明らかにし、運動量因子を含むハイパーパラメーターの役割に関する新たな洞察を提供する。
また、運動量を持つSGDの滑らか化特性を利用した暗黙的な漸進最適化アルゴリズムを提案し、運動量を持つSGDが目的関数を滑らかにすることを示す実験結果を提供する。
関連論文リスト
- The Marginal Value of Momentum for Small Learning Rate SGD [14.156569506521638]
モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。
実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
論文 参考訳(メタデータ) (2023-07-27T21:01:26Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳(メタデータ) (2023-06-12T16:28:11Z) - Convergence rates for momentum stochastic gradient descent with noise of
machine learning type [1.4213973379473654]
我々は、降下スキーム(MSGD)の運動量と、その連続的インタイム(continuous-in-time)の運動量を考える。
対象関数に対する目的関数値のほぼ指数収束性を示す。
論文 参考訳(メタデータ) (2023-02-07T15:59:08Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - Momentum Doesn't Change the Implicit Bias [36.301490759243876]
我々は運動量に基づく最適化の暗黙バイアスを分析する。
モデルパラメータと最大マージン解の間のギャップを解析するためのツールとして,新しいリアプノフ関数を構築した。
論文 参考訳(メタデータ) (2021-10-08T04:37:18Z) - On the Hyperparameters in Stochastic Gradient Descent with Momentum [6.396288020763144]
本稿では,運動量を伴う勾配降下理論(SGD)について述べる。
以上の結果から,SGD の正の線形速度は,SGD が0 から0 に増加するにつれて変化し,SGD の線形速度が変化することを示す。
最後に、この速度下での代理運動量と運動量との本質的な違いは示さない。
論文 参考訳(メタデータ) (2021-08-09T11:25:03Z) - On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。
滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。
強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
論文 参考訳(メタデータ) (2021-02-26T18:58:29Z) - Noise and Fluctuation of Finite Learning Rate Stochastic Gradient
Descent [3.0079490585515343]
勾配降下(SGD)は、消滅する学習率体制において比較的よく理解されている。
SGDとその変異体の基本特性を非退化学習率体系で研究することを提案する。
論文 参考訳(メタデータ) (2020-12-07T12:31:43Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳(メタデータ) (2020-06-16T15:07:37Z) - On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。
学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文 参考訳(メタデータ) (2020-04-15T09:52:37Z) - On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。
まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。
滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
論文 参考訳(メタデータ) (2018-09-12T17:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。