Fugu-MT 論文翻訳(概要): Error estimates between SGD with momentum and underdamped Langevin diffusion

論文の概要: Error estimates between SGD with momentum and underdamped Langevin diffusion

arxiv url: http://arxiv.org/abs/2410.17297v1
Date: Tue, 22 Oct 2024 07:38:23 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-24 13:56:43.757987
Title: Error estimates between SGD with momentum and underdamped Langevin diffusion
Title（参考訳）: 運動量を持つSGDとランゲヴィン拡散の誤差推定
Authors: Arnaud Guillin, Yu Wang, Lihu Xu, Haoran Yang,
Abstract要約: 運動量による勾配降下は勾配降下の一般的な変種であり、近年は下水ランゲヴィン拡散と密接な関係が報告されている。 1-ワッサーシュタインと全変動距離でそれらの間の量的誤差を推定する。
参考スコア（独自算出の注目度）: 8.160962924723737
License:
Abstract: Stochastic gradient descent with momentum is a popular variant of stochastic gradient descent, which has recently been reported to have a close relationship with the underdamped Langevin diffusion. In this paper, we establish a quantitative error estimate between them in the 1-Wasserstein and total variation distances.
Abstract（参考訳）: 運動量による確率勾配降下は、最近ランゲヴィン拡散と密接な関係にあると報告されている確率勾配降下の一般的な変種である。本稿では,1-ワッサーシュタインと全変動距離の定量的誤差推定を行う。

関連論文リスト

Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文参考訳（メタデータ） (2024-10-21T09:39:10Z)
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
論文参考訳（メタデータ） (2024-04-03T00:41:19Z)
Emergence of heavy tails in homogenized stochastic gradient descent [1.450405446885067]
勾配降下(SGD)による損失は、重み付きネットワークパラメータをもたらす。我々はSGDの連続拡散近似をホモジェナイズド勾配降下(homogenized gradient descent)と呼ぶ解析を行った。最適化パラメータとテールインデックス間の相互作用を定量化する。
論文参考訳（メタデータ） (2024-02-02T13:06:33Z)
Proximal Algorithms for Accelerated Langevin Dynamics [57.08271964961975]
我々は,確率化Nesterovスキームに基づくMCMCアルゴリズムの新たなクラスを開発する。統計処理と画像処理の異なるモデルに対して,Langevinサンプルよりも提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-11-24T19:56:01Z)
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文参考訳（メタデータ） (2023-06-12T16:28:11Z)
Subsampling Error in Stochastic Gradient Langevin Diffusions [0.7900303955225063]
グラディエント・ランゲヴィン・ダイナミクス(英語版)(SGLD)は、統計的学習手順におけるベイズ的後続分布を大規模データで近似するために一般的に用いられる。第1のエラーは、Langevin拡散プロセスのEuler-Maruyama離散化によって導入され、第2のエラーは、大規模なデータ設定での使用を可能にするデータサブサンプリングに由来する。 SLGDiffの指数的エルゴード性を示し、SGLDiffの後方と制限分布の間のワッサーシュタイン距離が平均待ち時間の分断パワーによって上界していることを示す。
論文参考訳（メタデータ） (2023-05-23T10:03:40Z)
A sharp uniform-in-time error estimate for Stochastic Gradient Langevin Dynamics [11.437892757715877]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)の急激な一様誤差推定法を確立する。我々は、SGLD反復とランゲヴィン拡散の間のKL分割に対する一様時間$O(eta2)$バウンドを得る。
論文参考訳（メタデータ） (2022-07-19T14:38:52Z)
On uniform-in-time diffusion approximation for stochastic gradient descent [11.437892757715877]
本稿では,勾配降下の時間内均一拡散近似(SGD)を確立する。主な手法は、後方のコルモゴロフ方程式への解の微分の指数的崩壊率を確立することである。
論文参考訳（メタデータ） (2022-07-11T14:58:14Z)
Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文参考訳（メタデータ） (2021-06-03T09:34:17Z)
A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文参考訳（メタデータ） (2020-07-09T03:23:10Z)
Penalized Langevin dynamics with vanishing penalty for smooth and log-concave targets [6.396288020763144]
我々は、Penalized Langevin dynamics (PLD) と呼ばれる連続時間拡散型プロセスを考え、そのドリフトはポテンシャルの負の勾配であり、無限大に進むと消滅する線形ペナルティである。時刻t$におけるPLDの分布と目標とのワッサースタイン2距離上の上限を確立する。最適化問題に対するペナル化勾配流の収束の新しい漸近的保証を推算する。
論文参考訳（メタデータ） (2020-06-24T18:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。