論文の概要: Tackling benign nonconvexity with smoothing and stochastic gradients

• arxiv url: http://arxiv.org/abs/2202.09052v1
• Date: Fri, 18 Feb 2022 07:27:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 13:17:03.573375
• Title: Tackling benign nonconvexity with smoothing and stochastic gradients
• Title（参考訳）: 滑らか化と確率勾配を伴う良性非凸性に取り組む
• Authors: Harsh Vardhan, Sebastian U. Stich
• Abstract要約: 非最適化問題は機械学習、特にディープラーニングでは一般的な問題である。 本稿では,そのような問題を解決するために勾配勾配勾配を利用する方法を示す。
• 参考スコア（独自算出の注目度）: 28.197694894254305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-convex optimization problems are ubiquitous in machine learning, especially in Deep Learning. While such complex problems can often be successfully optimized in practice by using stochastic gradient descent (SGD), theoretical analysis cannot adequately explain this success. In particular, the standard analyses do not show global convergence of SGD on non-convex functions, and instead show convergence to stationary points (which can also be local minima or saddle points). We identify a broad class of nonconvex functions for which we can show that perturbed SGD (gradient descent perturbed by stochastic noise -- covering SGD as a special case) converges to a global minimum (or a neighborhood thereof), in contrast to gradient descent without noise that can get stuck in local minima far from a global solution. For example, on non-convex functions that are relatively close to a convex-like (strongly convex or PL) function we show that SGD can converge linearly to a global optimum.
• Abstract（参考訳）: 非凸最適化問題は機械学習、特にディープラーニングにおいてユビキタスである。 このような複雑な問題は確率勾配降下 (SGD) を用いて実際に最適化されることが多いが、理論解析はこの成功を適切に説明できない。 特に、標準解析は非凸函数上のSGDの大域収束を示さず、定常点(局所ミニマ点やサドル点でもある)への収束を示す。 本研究では, ゆがんだSGD(確率的雑音によるゆらぎ)が, 大域的最小値(あるいはその近傍)に収束することを示す, 局所的最小値に留まらない勾配下降とは対照的に, 広範に非凸関数のクラスを同定する。 例えば、凸(強凸あるいはPL)関数に比較的近い非凸函数について、SGD が大域的最適に線型収束可能であることを示す。

関連論文リスト

• On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization [37.41427897807821]
  暗号非既知の正規最適化の複雑さを示す。 リプシッツ関数に作用する局所アルゴリズムは、最悪の場合、亜指数最小値の値に関して有意義な局所を与えることができない。
  論文  参考訳（メタデータ） (2024-09-16T14:35:00Z)
• Demystifying the Myths and Legends of Nonconvex Convergence of SGD [17.445810977264067]
  勾配勾配勾配(SGD)とその変種は、大規模最適化問題の解法の主要な仕事場である。 分析として,勾配の非収束に関連する神話や伝説について考察した。
  論文  参考訳（メタデータ） (2023-10-19T17:58:59Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms [18.663264755108703]
  勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。 本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
  論文  参考訳（メタデータ） (2022-06-13T01:25:59Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Global Convergence and Stability of Stochastic Gradient Descent [0.0]
  我々は,SGDがほぼ任意の非特異性および雑音モデルの下で定常点に収束することを示す。 我々は,SGDがグローバルな信頼の収束に関する様々な問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-04T19:00:50Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• An improved convergence analysis for decentralized online stochastic non-convex optimization [17.386715847732468]
  本稿では,GT-Loakjasiewics(GT-Loakjasiewics)と呼ばれる手法が,GT-Loakjasiewics(GT-Loakjasiewics)が現在の収束率を満たすことを示す。 結果はすぐに適用できるだけでなく、現在知られている最高の収束率にも適用できる。
  論文  参考訳（メタデータ） (2020-08-10T15:29:13Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。