Fugu-MT 論文翻訳(概要): Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption

論文の概要: Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption

arxiv url: http://arxiv.org/abs/2302.07862v1
Date: Wed, 15 Feb 2023 18:53:41 GMT
ステータス: 処理完了
システム内更新日: 2023-02-16 14:02:35.290013
Title: Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
Title（参考訳）: 有界勾配を仮定しない確率的勾配法のほぼ確実にサドル回避
Authors: Jun Liu, Ye Yuan
Abstract要約: 勾配勾配降下法(SGD)、重ボール法(SHB)、ネステロフ加速勾配法(SNAG)など、様々な勾配勾配降下法が、厳密なサドル多様体をほぼ確実に避けていることを示す。 SHB法とSNAG法でこのような結果が得られたのはこれが初めてである。
参考スコア（独自算出の注目度）: 11.367487348673793
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove that various stochastic gradient descent methods, including the stochastic gradient descent (SGD), stochastic heavy-ball (SHB), and stochastic Nesterov's accelerated gradient (SNAG) methods, almost surely avoid any strict saddle manifold. To the best of our knowledge, this is the first time such results are obtained for SHB and SNAG methods. Moreover, our analysis expands upon previous studies on SGD by removing the need for bounded gradients of the objective function and uniformly bounded noise. Instead, we introduce a more practical local boundedness assumption for the noisy gradient, which is naturally satisfied in empirical risk minimization problems typically seen in training of neural networks.
Abstract（参考訳）: 確率勾配勾配降下法(SGD)、確率重球法(SHB)、確率ネステロフ加速勾配法(SNAG)など、様々な確率勾配勾配降下法が、厳密なサドル多様体をほぼ確実に避けていることを示す。我々の知る限り、SHB法とSNAG法でこのような結果が得られるのは今回が初めてである。さらに,目的関数の有界勾配と一様有界雑音を除去し,sgdに関するこれまでの研究を拡張した。その代わりに,ニューラルネットワークのトレーニングでよく見られる経験的リスク最小化問題において自然に満足される雑音勾配に対して,より実用的な局所的境界性仮定を導入する。

関連論文リスト

Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文参考訳（メタデータ） (2024-10-21T22:40:42Z)
Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文参考訳（メタデータ） (2024-10-21T09:39:10Z)
Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文参考訳（メタデータ） (2024-05-17T21:17:27Z)
Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
本稿ではその問題を考察する。加速勾配法の一般一般の凸挙動を理解すること。非アプティック関数。これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
論文参考訳（メタデータ） (2023-07-13T19:11:07Z)
A note on diffusion limits for stochastic gradient descent [0.0]
勾配アルゴリズムにおける雑音の役割を明確にしようとする理論の多くは、ガウス雑音を持つ微分方程式による勾配降下を広く近似している。本稿では, 自然に発生する騒音を提示する新しい理論的正当化法を提案する。
論文参考訳（メタデータ） (2022-10-20T13:27:00Z)
Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文参考訳（メタデータ） (2022-06-02T15:21:55Z)
Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis [6.497816402045099]
理論上の利点を持つ勾配降下(SGD)の2つの一般的な選択肢は、ランダムリシャッフル(SGDRR)とシャッフルオンス(SGD-SO)である。本研究では,SGD,SGDRR,SGD-SOの定常変動について検討した。
論文参考訳（メタデータ） (2022-06-01T17:08:04Z)
Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness [23.22461721824713]
グラデーションクリッピングは、爆発グラデーション問題が発生しやすい問題のトレーニングプロセスを安定化させる技術です。本稿では,非滑らか凸関数に対する勾配クリッピング(サブ)勾配法(SGD)の定性的および定量的な結果を確立する。また,特殊ケースとしてSGDをクリップした運動量を用いたクリップ方式の収束性についても検討した。
論文参考訳（メタデータ） (2021-02-12T12:41:42Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
Stochastic Approximate Gradient Descent via the Langevin Algorithm [11.36635610546803]
本研究では,不偏勾配が自明に得られない場合の勾配勾配の代替として,近似勾配勾配(SAGD)を導入する。 SAGDは,予測最大化アルゴリズムや変分オートエンコーダといった,一般的な統計的および機械学習問題において,実験的によく機能することを示す。
論文参考訳（メタデータ） (2020-02-13T14:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。