論文の概要: The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof

• arxiv url: http://arxiv.org/abs/2103.14350v2
• Date: Tue, 14 Nov 2023 15:18:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 19:49:36.552364
• Title: The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
• Title（参考訳）: 確率勾配Descent (SGD) の収束 : 自己完結的証明
• Authors: Gabrel Turinici
• Abstract要約: SGD(Gradient Descent)の自己完備な収束の証明。 ここでは、自己完結した方法でグラディエント輝き(SGD)の収束の証明を与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We give here a proof of the convergence of the Stochastic Gradient Descent (SGD) in a self-contained manner.
• Abstract（参考訳）: ここでは、SGD(Stochastic Gradient Descent)の自己完結的な収束の証明を与える。

関連論文リスト

• Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent [6.3151583550712065]
  グラディエントDescent(SGD)の連続時間モデルのダイナミクスについて検討する。 我々は,SGDをモデル化する退化微分方程式(squareSDEs)を,トレーニング損失(有限サンプル)と集団1(オンライン設定)のいずれにおいても解析する。
  論文  参考訳（メタデータ） (2024-07-02T14:52:21Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption [11.367487348673793]
  勾配勾配降下法(SGD)、重ボール法(SHB)、ネステロフ加速勾配法(SNAG)など、様々な勾配勾配降下法が、厳密なサドル多様体をほぼ確実に避けていることを示す。 SHB法とSNAG法でこのような結果が得られたのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-02-15T18:53:41Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Symmetry-Preserving Paths in Integrated Gradients [0.0]
  本稿では,統合勾配法 (ig) が完全性および対称性保存性を満たすことを厳密に証明する。 また、対称性を保つ経路法としてIGの特異性についても検討する。
  論文  参考訳（メタデータ） (2021-03-25T00:09:09Z)
• Convergence of stochastic gradient descent schemes for Lojasiewicz-landscapes [0.0]
  我々は、下層景観の弱い仮定の下で勾配降下スキームの収束を考察する。 特に、ソフトプラス、シグモイド、双曲型タンジェントなどの解析活性化機能を持つニューラルネットワークの場合、SGDは有界な状態に収束することを示す。
  論文  参考訳（メタデータ） (2021-02-16T12:42:25Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。