論文の概要: Revisiting Stochastic Approximation and Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2505.11343v1
• Date: Fri, 16 May 2025 15:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.380356
• Title: Revisiting Stochastic Approximation and Stochastic Gradient Descent
• Title（参考訳）: 確率近似の再検討と確率勾配の老化
• Authors: Rajeeva Laxman Karandikar, Bhamidi Visweswara Rao, Mathukumalli Vidyasagar,
• Abstract要約: 近似(SA)とグラディエントDescent(SGD)を新たに検討する 我々は、SAの収束に十分な新しい条件を導出する。 また、零次 SGD の収束に十分な条件を導出する。
• 参考スコア（独自算出の注目度）: 2.4092466208212313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we take a fresh look at stochastic approximation (SA) and Stochastic Gradient Descent (SGD). We derive new sufficient conditions for the convergence of SA. In particular, the "noise" or measurement error need not have a finite second moment, and under suitable conditions, not even a finite mean. By adapting this method of proof, we also derive sufficient conditions for the convergence of zero-order SGD, wherein the stochastic gradient is computed using only two function evaluations, and no gradient computations. The sufficient conditions derived here are the weakest to date, thus leading to a considerable expansion of the applicability of SA and SGD theory.
• Abstract（参考訳）: 本稿では,確率近似 (SA) と確率勾配 Descent (SGD) を新たに検討する。 我々は、SAの収束に十分な新しい条件を導出する。 特に、「ノイズ」あるいは測定誤差は有限第二モーメントを持たず、適切な条件下では、有限平均でさえも持たない。 この方法を適用することで、ゼロ階SGDの収束に十分な条件が導出され、確率勾配は2つの関数評価だけで計算され、勾配計算は行われない。 ここで導かれる十分条件は、これまでで最も弱いため、SA と SGD 理論の適用性はかなり拡大する。

関連論文リスト

• Stochastic Gradient Descent in Non-Convex Problems: Asymptotic Convergence with Relaxed Step-Size via Stopping Time Methods [13.677904140815386]
  Gradient Descent (SGD) は機械学習の研究で広く使われている。 本稿では,より緩やかなステップサイズ条件下でのSGDの収束解析法を提案する。
  論文  参考訳（メタデータ） (2025-04-17T02:56:20Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Exact Mean Square Linear Stability Analysis for SGD [28.65663421598186]
  勾配降下(SGD)の線形安定性に必要かつ十分なステップサイズを明示的条件として提示する。 SGDの安定性閾値は、全バッチ勾配ステップw.p.$-p$と1サンプル勾配ステップw.p.$p$の混合プロセスと等価であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:29:23Z)
• Convergence of the Stochastic Heavy Ball Method With Approximate Gradients and/or Block Updating [0.6445605125467572]
  我々は,より一般的な条件下でのヘビーボール (SHB) アルゴリズムの収束を確立する。 我々の解析は凸関数だけでなく、PL(Polyak-Lojasiewicz)およびKL(Kurdyka-Lojasiewicz)条件を満たすより一般的な関数も受け入れている。
  論文  参考訳（メタデータ） (2023-03-28T18:34:52Z)
• Minimax Instrumental Variable Regression and $L_2$ Convergence Guarantees without Identification or Closedness [71.42652863687117]
  インストゥルメンタル変数(IV)回帰の非パラメトリック推定について検討した。 固定IV解に収束できる新しいペナル化ミニマックス推定器を提案する。 ラックス条件下での推定値に対して強い$L$誤差率を導出する。
  論文  参考訳（メタデータ） (2023-02-10T18:08:49Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Convergence rates and approximation results for SGD and its continuous-time counterpart [16.70533901524849]
  本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。 まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。 連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
  論文  参考訳（メタデータ） (2020-04-08T18:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。