論文の概要: New Tight Bounds for SGD without Variance Assumption: A Computer-Aided Lyapunov Analysis
- arxiv url: http://arxiv.org/abs/2505.17965v1
- Date: Fri, 23 May 2025 14:34:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:34.157624
- Title: New Tight Bounds for SGD without Variance Assumption: A Computer-Aided Lyapunov Analysis
- Title（参考訳）: 可変推定のないSGDの新しいタイト境界:コンピュータ支援リアプノフ解析
- Authors: Daniel Cortild, Lucas Ketels, Juan Peypouquet, Guillaume Garrigos,
- Abstract要約: 本稿では, 分散を前提とせず, 保証を図ろうとする最近の研究に寄与する。
我々は、単純なリャプノフエネルギーの単調性から導かれる新しい理論境界を証明した。
- 参考スコア（独自算出の注目度）: 0.3937354192623676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The analysis of Stochastic Gradient Descent (SGD) often relies on making some assumption on the variance of the stochastic gradients, which is usually not satisfied or difficult to verify in practice. This paper contributes to a recent line of works which attempt to provide guarantees without making any variance assumption, leveraging only the (strong) convexity and smoothness of the loss functions. In this context, we prove new theoretical bounds derived from the monotonicity of a simple Lyapunov energy, improving the current state-of-the-art and extending their validity to larger step-sizes. Our theoretical analysis is backed by a Performance Estimation Problem analysis, which allows us to claim that, empirically, the bias term in our bounds is tight within our framework.
- Abstract（参考訳）: SGD(Stochastic Gradient Descent)の分析は、しばしば確率勾配のばらつきを仮定することに依存する。
本稿では, 損失関数の(強い)凸性と滑らか性のみを活用することで, ばらつきを仮定することなく保証を提供しようとする最近の研究に寄与する。
この文脈で、簡単なリャプノフエネルギーの単調性から導かれる新しい理論的境界を証明し、現在の状態を改善するとともに、それらの妥当性をより大きなステップサイズに拡張する。
私たちの理論的分析はパフォーマンス推定問題解析によって裏付けられています。
関連論文リスト
- Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization [0.40964539027092917]
我々は、余分な有界性仮定を伴わない元の問題の最小ノルム解に対して、reg-SGDの強い収束性を証明する。
分析の結果,Tikhonov正則化がSGDの流れを制御し,安定した学習力学が得られることがわかった。
論文 参考訳（メタデータ） (2025-05-16T16:53:49Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。
類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文 参考訳（メタデータ） (2022-02-27T13:25:01Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳（メタデータ） (2020-06-15T06:30:19Z) - Convergence rates and approximation results for SGD and its
continuous-time counterpart [16.70533901524849]
本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。
まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。
連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
論文 参考訳（メタデータ） (2020-04-08T18:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。