論文の概要: Signal Processing Meets SGD: From Momentum to Filter

• arxiv url: http://arxiv.org/abs/2311.02818v3
• Date: Fri, 24 Nov 2023 06:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 02:38:50.013904
• Title: Signal Processing Meets SGD: From Momentum to Filter
• Title（参考訳）: 信号処理とSGD: モーメントからフィルタへ
• Authors: Zhipeng Yao, Guisong Chang, Jiaqi Zhang, Qi Zhang, Yu Zhang, Dazhou Li
• Abstract要約: Descent Gradient (SGD) とその運動量に基づく変種は最適化アルゴリズムの主要な選択肢である。 本研究では, 歴史的勾配の分散を低減し, 平坦な解に収束させる新しい最適化手法を提案する。 提案した適応重量SGDF(Stochastic Gradient Descent With Filter)は良好な性能を示した。
• 参考スコア（独自算出の注目度）: 10.579184194532044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of deep learning, Stochastic Gradient Descent (SGD) and its momentum-based variants are the predominant choices for optimization algorithms. Despite all that, these momentum strategies, which accumulate historical gradients by using a fixed $\beta$ hyperparameter to smooth the optimization processing, often neglect the potential impact of the variance of historical gradients on the current gradient estimation. In the gradient variance during training, fluctuation indicates the objective function does not meet the Lipschitz continuity condition at all time, which raises the troublesome optimization problem. This paper aims to explore the potential benefits of reducing the variance of historical gradients to make optimizer converge to flat solutions. Moreover, we proposed a new optimization method based on reducing the variance. We employed the Wiener filter theory to enhance the first moment estimation of SGD, notably introducing an adaptive weight to optimizer. Specifically, the adaptive weight dynamically changes along with temporal fluctuation of gradient variance during deep learning model training. Experimental results demonstrated our proposed adaptive weight optimizer, SGDF (Stochastic Gradient Descent With Filter), can achieve satisfactory performance compared with state-of-the-art optimizers.
• Abstract（参考訳）: ディープラーニングの分野では、SGD(Stochastic Gradient Descent)とその運動量に基づく変種が最適化アルゴリズムの主要な選択肢である。 それにもかかわらず、これらの運動量戦略は、固定された$\beta$ハイパーパラメータを用いて最適化処理を円滑にすることで歴史的勾配を蓄積し、しばしば現在の勾配推定に対する歴史的勾配の分散の影響を無視する。 トレーニング中の勾配分散では、ゆらぎは目的関数が常にリプシッツ連続性条件を満たしていないことを示すため、厄介な最適化問題を引き起こす。 本研究の目的は, 歴史的勾配のばらつきを低減し, 最適化器を平坦な解に収束させる可能性を探ることである。 さらに,分散の低減に基づく新しい最適化手法を提案する。 我々は,ワイナーフィルタ理論を用いてsgdの最初のモーメント推定,特にオプティマイザへの適応重みを導入した。 特に、適応重みは、ディープラーニングモデルトレーニング中の勾配変動の時間的変動とともに動的に変化する。 提案する適応ウェイトオプティマイザであるsgdf(stochasticgradient descent with filter)は,最先端のオプティマイザと比較して良好な性能が得られることを示した。

関連論文リスト

• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• AdaL: Adaptive Gradient Transformation Contributes to Convergences and Generalizations [4.991328448898387]
  元の勾配を変換したAdaLを提案する。 AdaLは初期の勾配を増幅することで収束を加速し、振動を減衰させ、後に勾配を縮めることで最適化を安定化する。
  論文  参考訳（メタデータ） (2021-07-04T02:55:36Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• The Role of Momentum Parameters in the Optimal Convergence of Adaptive Polyak's Heavy-ball Methods [12.93796690939018]
  適応型Polyak's Heavy-ball (HB) 法は最適な個人収束率を$O(frac1sqrtt)$とする。 新しい解析では,hb運動量とその時間的変動が凸最適化の高速化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2021-02-15T02:57:14Z)
• Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
  ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。 いくつかの仮定の下で、提案した問題の理論的解析を行う。 実験の結果,H-SGDはSGDより優れていた。
  論文  参考訳（メタデータ） (2020-11-20T09:50:40Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs [25.158203665218164]
  適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。 我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-06-12T09:39:47Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。