論文の概要: Revisiting the acceleration phenomenon via high-resolution differential
equations
- arxiv url: http://arxiv.org/abs/2212.05700v1
- Date: Mon, 12 Dec 2022 04:36:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 18:43:00.504591
- Title: Revisiting the acceleration phenomenon via high-resolution differential
equations
- Title（参考訳）: 高分解能微分方程式による加速現象の再検討
- Authors: Shuo Chen, Bin Shi, Ya-xiang Yuan
- Abstract要約: ネステロフの加速勾配降下(NAG)は、一階アルゴリズムの歴史におけるマイルストーンの1つである。
Lyapunov解析と位相空間表現に基づく$mu$-strongly convex関数のNAGについて検討する。
NAGの暗黙的速度スキームによる高分解能微分方程式の枠組みは完璧であり、勾配補正スキームよりも優れていた。
- 参考スコア（独自算出の注目度）: 6.53306151979817
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Nesterov's accelerated gradient descent (NAG) is one of the milestones in the
history of first-order algorithms. It was not successfully uncovered until the
high-resolution differential equation framework was proposed in [Shi et al.,
2022] that the mechanism behind the acceleration phenomenon is due to the
gradient correction term. To deepen our understanding of the high-resolution
differential equation framework on the convergence rate, we continue to
investigate NAG for the $\mu$-strongly convex function based on the techniques
of Lyapunov analysis and phase-space representation in this paper. First, we
revisit the proof from the gradient-correction scheme. Similar to [Chen et al.,
2022], the straightforward calculation simplifies the proof extremely and
enlarges the step size to $s=1/L$ with minor modification. Meanwhile, the way
of constructing Lyapunov functions is principled. Furthermore, we also
investigate NAG from the implicit-velocity scheme. Due to the difference in the
velocity iterates, we find that the Lyapunov function is constructed from the
implicit-velocity scheme without the additional term and the calculation of
iterative difference becomes simpler. Together with the optimal step size
obtained, the high-resolution differential equation framework from the
implicit-velocity scheme of NAG is perfect and outperforms the
gradient-correction scheme.
- Abstract（参考訳）: ネステロフの加速勾配降下(NAG)は、一階アルゴリズムの歴史におけるマイルストーンの1つである。
高分解能微分方程式の枠組みが[Shi et al., 2022]で提案されるまでは、加速現象のメカニズムは勾配補正項によるものであることが判明しなかった。
収束率に関する高分解能微分方程式の枠組みの理解を深めるために,本論文では,リアプノフ解析と位相空間表現の手法に基づいて,$\mu$-strongly convex関数のnagを引き続き検討する。
まず、勾配補正スキームから証明を再検討する。
Chen et al., 2022] と同様、単純計算は証明を極端に単純化し、ステップサイズを小さな修正で$s=1/L$に拡大する。
一方、リャプノフ函数の構成法は原則的である。
また,暗黙の速度計画からNAGについても検討した。
速度の反復性の違いから、リアプノフ関数は追加項を使わずに暗黙速度スキームから構築され、反復差分の計算がより簡単になることがわかった。
NAGの暗黙的速度スキームからの高分解能微分方程式フレームワークは最適であり、勾配補正スキームよりも優れている。
関連論文リスト
- Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳（メタデータ） (2024-05-17T21:17:27Z) - Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。
我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。
我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文 参考訳（メタデータ） (2024-03-06T22:24:05Z) - Linear convergence of forward-backward accelerated algorithms without knowledge of the modulus of strong convexity [14.0409219811182]
我々はネステロフの加速勾配降下(NAG)とFISTAの両方が強い凸関数に対して線形収束を示すことを示した。
我々は、運動エネルギーの動的適応係数を含むリアプノフ関数の創出に際し、特異なアプローチを強調した。
論文 参考訳（メタデータ） (2023-06-16T08:58:40Z) - Proximal Subgradient Norm Minimization of ISTA and FISTA [8.261388753972234]
反復収縮保持アルゴリズムのクラスに対する2乗近位次数ノルムは逆2乗率で収束することを示す。
また、高速反復収縮保持アルゴリズム (FISTA) のクラスに対する2乗次次数次ノルムが、逆立方レートで収束するように加速されることも示している。
論文 参考訳（メタデータ） (2022-11-03T06:50:19Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - A Unified Analysis of First-Order Methods for Smooth Games via Integral
Quadratic Constraints [10.578409461429626]
本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。
我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。
一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
論文 参考訳（メタデータ） (2020-09-23T20:02:00Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。