論文の概要: A Continuized View on Nesterov Acceleration for Stochastic Gradient
Descent and Randomized Gossip
- arxiv url: http://arxiv.org/abs/2106.07644v1
- Date: Thu, 10 Jun 2021 08:35:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-20 16:21:55.801171
- Title: A Continuized View on Nesterov Acceleration for Stochastic Gradient
Descent and Randomized Gossip
- Title（参考訳）: 確率勾配とランダム化ゴシップに対するネステロフ加速度の連続的考察
- Authors: Mathieu Even, Rapha\"el Berthier, Francis Bach, Nicolas Flammarion,
Pierre Gaillard, Hadrien Hendrikx, Laurent Massouli\'e, Adrien Taylor
- Abstract要約: 連続時間パラメータで変数をインデックス化したNesterov加速度の近変種である連続Nesterov加速度を導入する。
離散化はネステロフ加速度と同じ構造であるが、ランダムパラメータを持つことを示す。
非同期ゴシップアルゴリズムの最初の厳密な高速化を提供する。
- 参考スコア（独自算出の注目度）: 23.519404358187156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the continuized Nesterov acceleration, a close variant of
Nesterov acceleration whose variables are indexed by a continuous time
parameter. The two variables continuously mix following a linear ordinary
differential equation and take gradient steps at random times. This continuized
variant benefits from the best of the continuous and the discrete frameworks:
as a continuous process, one can use differential calculus to analyze
convergence and obtain analytical expressions for the parameters; and a
discretization of the continuized process can be computed exactly with
convergence rates similar to those of Nesterov original acceleration. We show
that the discretization has the same structure as Nesterov acceleration, but
with random parameters. We provide continuized Nesterov acceleration under
deterministic as well as stochastic gradients, with either additive or
multiplicative noise. Finally, using our continuized framework and expressing
the gossip averaging problem as the stochastic minimization of a certain energy
function, we provide the first rigorous acceleration of asynchronous gossip
algorithms.
- Abstract（参考訳）: 連続時間パラメータによって変数がインデックス化されるネステロフ加速度の近接型である連続化ネステロフ加速度を導入する。
2つの変数は線形常微分方程式に従って連続的に混合し、ランダムな時間に勾配を踏む。
この連続化変種は、連続的および離散的フレームワークの最良の利点である: 連続的なプロセスとして、微分微分積分を使って、パラメータの収束を解析し、解析式を得ることができ、連続化過程の離散化は、ネステロフの元の加速とよく似た収束率で正確に計算できる。
離散化はネステロフ加速度と同じ構造であるが、ランダムパラメータを持つことを示す。
決定論的および確率的勾配の下で,加法的あるいは乗法的雑音を伴う連続したネステロフ加速度を与える。
最後に、連続化フレームワークを用いて、あるエネルギー関数の確率的最小化としてゴシップ平均化問題を表現し、非同期ゴシップアルゴリズムの最初の厳密な加速を提供する。
関連論文リスト
- Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。
本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
論文 参考訳（メタデータ） (2024-04-03T00:41:19Z) - The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise [17.493808856903303]
近似アルゴリズムを解析する根本的な課題は、その安定性を確立することである。
本稿では,マルティンゲール差分雑音設定からマルコフ雑音設定へ有界な安定に対するボルカー・メイン定理を拡張する。
我々の分析の中心は、少数の関数の変化の減少率であり、これは多量の強い法則の形式とよく用いられるV4 Lynovドリフト条件の両方によって示唆される。
論文 参考訳（メタデータ） (2024-01-15T17:20:17Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Last-iterate convergence analysis of stochastic momentum methods for
neural networks [3.57214198937538]
運動量法は、ニューラルネットワークの大規模最適化問題を解決するために用いられる。
人工環境下での運動量測定法の電流収束結果
運動量係数は、既存の時間よりも定数に固定することができる。
論文 参考訳（メタデータ） (2022-05-30T02:17:44Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Stochastic optimization with momentum: convergence, fluctuations, and
traps avoidance [0.0]
本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。
この回避は、非自明な常微分方程式のノイズ離散化として研究される。
論文 参考訳（メタデータ） (2020-12-07T19:14:49Z) - Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost
Functions [2.538209532048867]
勾配が収束する副生成物を示し、収束率に明示的な上限を与える。
これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
論文 参考訳（メタデータ） (2020-12-01T16:48:59Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z) - On the Convergence of Nesterov's Accelerated Gradient Method in
Stochastic Settings [5.101801159418223]
定常ステップサイズおよび運動量パラメータを用いたネステロフ加速勾配法について検討した。
有限サム設定では、ネステロフの方法が通常のステップサイズと運動量の選択と分岐することを証明している。
論文 参考訳（メタデータ） (2020-02-27T19:56:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。