論文の概要: Can speed up the convergence rate of stochastic gradient methods to
$\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
- arxiv url: http://arxiv.org/abs/2002.10769v1
- Date: Tue, 25 Feb 2020 09:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 22:20:44.937826
- Title: Can speed up the convergence rate of stochastic gradient methods to
$\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
- Title（参考訳）: 勾配平均化戦略により確率勾配法の収束速度を$\mathcal{O}(1/k^2)$に高速化できるか?
- Authors: Xin Xu and Xiaopeng Luo
- Abstract要約: 私たちが定義した反復的分散が、勾配反復においてほんの少しでも支配的であれば、提案した勾配平均化戦略は収束率を高めることができる。
この結論は、収束率を改善するために勾配の反復をどのように制御すべきかを示唆している。
- 参考スコア（独自算出の注目度）: 8.663453034925363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we consider the question of whether it is possible to apply a
gradient averaging strategy to improve on the sublinear convergence rates
without any increase in storage. Our analysis reveals that a positive answer
requires an appropriate averaging strategy and iterations that satisfy the
variance dominant condition. As an interesting fact, we show that if the
iterative variance we defined is always dominant even a little bit in the
stochastic gradient iterations, the proposed gradient averaging strategy can
increase the convergence rate $\mathcal{O}(1/k)$ to $\mathcal{O}(1/k^2)$ in
probability for the strongly convex objectives with Lipschitz gradients. This
conclusion suggests how we should control the stochastic gradient iterations to
improve the rate of convergence.
- Abstract（参考訳）: 本稿では, ストレージの増加を伴わずに, 勾配平均化戦略を適用して, サブ線形収束率を改善することができるかどうかを考察する。
分析の結果,正の解答には,差分支配条件を満たす適切な平均化戦略と反復が必要であることがわかった。
興味深い事実として、我々が定義した反復的分散が、確率的勾配の反復においてほんの少しでも支配的である場合、提案された勾配平均化戦略は、リプシッツ勾配を持つ強凸対象に対する収束率$\mathcal{o}(1/k)$ to $\mathcal{o}(1/k^2)$ を増加させることができる。
この結論は、収束率を改善するために確率勾配の反復を制御する方法を示している。
関連論文リスト
- Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Hessian Averaging in Stochastic Newton Methods Achieves Superlinear
Convergence [69.65563161962245]
ニュートン法を用いて,滑らかで強凸な目的関数を考える。
最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
論文 参考訳（メタデータ） (2022-04-20T07:14:21Z) - On Almost Sure Convergence Rates of Stochastic Gradient Methods [11.367487348673793]
勾配法で得られるほぼ確実な収束速度が、可能な限り最適な収束速度に任意に近づくことを示す。
非客観的関数に対しては、二乗勾配ノルムの重み付き平均がほぼ確実に収束するだけでなく、ほぼ確実に0となることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:30Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳（メタデータ） (2021-02-19T12:22:56Z) - Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost
Functions [2.538209532048867]
勾配が収束する副生成物を示し、収束率に明示的な上限を与える。
これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
論文 参考訳（メタデータ） (2020-12-01T16:48:59Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z) - Almost sure convergence rates for Stochastic Gradient Descent and
Stochastic Heavy Ball [17.33867778750777]
一般近似問題に対する勾配降下法(SGD)と重球法(SHB)について検討した。
SGD の場合、凸と滑らかな設定において、イテレートの重み付き平均に対して、最初の最も確実な収束式を提供する。
論文 参考訳（メタデータ） (2020-06-14T11:12:05Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z) - Stochastic gradient-free descents [8.663453034925363]
本稿では,最適化問題の解法として,モーメント付き勾配法と加速勾配を提案する。
本研究では,これらの手法の収束挙動を平均分散フレームワークを用いて解析する。
論文 参考訳（メタデータ） (2019-12-31T13:56:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。