Fugu-MT 論文翻訳(概要): Convergence rates for momentum stochastic gradient descent with noise of machine learning type

論文の概要: Convergence rates for momentum stochastic gradient descent with noise of machine learning type

arxiv url: http://arxiv.org/abs/2302.03550v1
Date: Tue, 7 Feb 2023 15:59:08 GMT
ステータス: 処理完了
システム内更新日: 2023-02-08 15:46:14.084807
Title: Convergence rates for momentum stochastic gradient descent with noise of machine learning type
Title（参考訳）: 機械学習型雑音を伴う運動量確率勾配降下の収束速度
Authors: Benjamin Gess, Sebastian Kassing
Abstract要約: 我々は、降下スキーム(MSGD)の運動量と、その連続的インタイム(continuous-in-time)の運動量を考える。対象関数に対する目的関数値のほぼ指数収束性を示す。
参考スコア（独自算出の注目度）: 1.4213973379473654
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the momentum stochastic gradient descent scheme (MSGD) and its continuous-in-time counterpart in the context of non-convex optimization. We show almost sure exponential convergence of the objective function value for target functions that are Lipschitz continuous and satisfy the Polyak-Lojasiewicz inequality on the relevant domain, and under assumptions on the stochastic noise that are motivated by overparameterized supervised learning applications. Moreover, we optimize the convergence rate over the set of friction parameters and show that the MSGD process almost surely converges.
Abstract（参考訳）: 我々は,非凸最適化の文脈において,運動量確率勾配降下スキーム(MSGD)とその連続時間対応について検討する。リプシッツ連続であり、関連する領域上のポリアック・ロジャシェヴィチの不等式を満たす対象関数の目的関数の指数関数値の指数収束をほぼ確実に示し、過剰パラメータ付き教師付き学習アプリケーションによって動機づけられた確率的ノイズの仮定下で示す。さらに, 摩擦パラメータの集合よりも収束率を最適化し, ほぼ確実にMSGDプロセスが収束することを示す。

関連論文リスト

Emergence of heavy tails in homogenized stochastic gradient descent [1.450405446885067]
勾配降下(SGD)による損失は、重み付きネットワークパラメータをもたらす。我々はSGDの連続拡散近似をホモジェナイズド勾配降下(homogenized gradient descent)と呼ぶ解析を行った。最適化パラメータとテールインデックス間の相互作用を定量化する。
論文参考訳（メタデータ） (2024-02-02T13:06:33Z)
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文参考訳（メタデータ） (2023-06-12T16:28:11Z)
Conservative SPDEs as fluctuating mean field limits of stochastic gradient descent [1.2031796234206138]
制限SPDEにおけるゆらぎの包含は収束率を向上し、連続極限における降下のゆらぎに関する情報を保持することが示されている。
論文参考訳（メタデータ） (2022-07-12T17:27:18Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
Convergence and Stability of the Stochastic Proximal Point Algorithm with Momentum [14.158845925610438]
運動量を持つ勾配近位アルゴリズム(PPA)は、より優れた縮退係数を持つ近位アルゴリズム(PPA)と比較して、近傍への高速収束を可能にすることを示す。
論文参考訳（メタデータ） (2021-11-11T12:17:22Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文参考訳（メタデータ） (2021-06-30T17:51:36Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
Convergence rates and approximation results for SGD and its continuous-time counterpart [16.70533901524849]
本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
論文参考訳（メタデータ） (2020-04-08T18:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。