論文の概要: Role of Momentum in Smoothing Objective Function in Implicit Graduated Optimization

• arxiv url: http://arxiv.org/abs/2402.02325v2
• Date: Sat, 25 May 2024 02:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 07:44:38.377624
• Title: Role of Momentum in Smoothing Objective Function in Implicit Graduated Optimization
• Title（参考訳）: 逐次最適化における平滑な目的関数におけるモメンタムの役割
• Authors: Naoki Sato, Hideaki Iiduka,
• Abstract要約: 運動量を持つ勾配降下(SGD)は、高速収束と優れた一般化性を有する。 運動量を持つSGDは、学習速度、バッチサイズ、運動量係数、勾配のばらつき、勾配ノルムの上界によって決定される目的関数を滑らかにすることを示す。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While stochastic gradient descent (SGD) with momentum has fast convergence and excellent generalizability, a theoretical explanation for this is lacking. In this paper, we show that SGD with momentum smooths the objective function, the degree of which is determined by the learning rate, the batch size, the momentum factor, the variance of the stochastic gradient, and the upper bound of the gradient norm. This theoretical finding reveals why momentum improves generalizability and provides new insights into the role of the hyperparameters, including momentum factor. We also present an implicit graduated optimization algorithm that exploits the smoothing properties of SGD with momentum and provide experimental results supporting our assertion that SGD with momentum smooths the objective function.
• Abstract（参考訳）: 運動量を持つ確率勾配降下(SGD)は、高速収束と優れた一般化性を持つが、理論的には不足している。 本稿では,運動量を持つSGDが目的関数を滑らかにし,学習速度,バッチサイズ,運動量係数,確率勾配のばらつき,勾配ノルムの上界によって決定される度合いを示す。 この理論的な発見は、運動量が一般化可能性を向上させる理由を明らかにし、運動量因子を含むハイパーパラメーターの役割に関する新たな洞察を提供する。 また、運動量を持つSGDの滑らか化特性を利用した暗黙的な漸進最適化アルゴリズムを提案し、運動量を持つSGDが目的関数を滑らかにすることを示す実験結果を提供する。

関連論文リスト

• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Label noise (stochastic) gradient descent implicitly solves the Lasso for quadratic parametrisation [14.244787327283335]
  本研究では, 連続時間モデルを用いて, 4次パラメトリッドモデルのトレーニング力学におけるラベルノイズの役割について検討する。 本研究は,構造ノイズがより高度な一般化を誘導し,実際に観察されるダイナミックスの性能の向上を説明できることを示すものである。
  論文  参考訳（メタデータ） (2022-06-20T15:24:42Z)
• Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis [6.497816402045099]
  理論上の利点を持つ勾配降下(SGD)の2つの一般的な選択肢は、ランダムリシャッフル(SGDRR)とシャッフルオンス(SGD-SO)である。 本研究では,SGD,SGDRR,SGD-SOの定常変動について検討した。
  論文  参考訳（メタデータ） (2022-06-01T17:08:04Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Hyperparameters in Stochastic Gradient Descent with Momentum [6.396288020763144]
  本稿では,運動量を伴う勾配降下理論(SGD)について述べる。 以上の結果から,SGD の正の線形速度は,SGD が0 から0 に増加するにつれて変化し,SGD の線形速度が変化することを示す。 最後に、この速度下での代理運動量と運動量との本質的な違いは示さない。
  論文  参考訳（メタデータ） (2021-08-09T11:25:03Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent [3.0079490585515343]
  勾配降下(SGD)は、消滅する学習率体制において比較的よく理解されている。 SGDとその変異体の基本特性を非退化学習率体系で研究することを提案する。
  論文  参考訳（メタデータ） (2020-12-07T12:31:43Z)
• A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
  Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。 モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
  論文  参考訳（メタデータ） (2020-07-28T15:06:22Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。