論文の概要: Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences

• arxiv url: http://arxiv.org/abs/2512.13123v1
• Date: Mon, 15 Dec 2025 09:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.603403
• Title: Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
• Title（参考訳）: 確率的グラディエントDescentの任意の信頼系列による停止規則
• Authors: Liviu Aolaritei, Michael I. Jordan,
• Abstract要約: 我々は、投射勾配降下(SGD)の重み付き平均準最適性のための、任意の有意なデータ依存的高信頼シーケンスを開発する。 この自信列は、少なくとも1-$の確率で証明可能な$varepsilon$-optimalで、標準近似ステップでほぼ確実に有限な単純な停止規則を生成する。 我々の知る限り、これらは一般的な凸目的を持つ投影SGDの厳密で一様な性能保証と有限時間$varepsilon$-optimality証明書である。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study stopping rules for stochastic gradient descent (SGD) for convex optimization from the perspective of anytime-valid confidence sequences. Classical analyses of SGD provide convergence guarantees in expectation or at a fixed horizon, but offer no statistically valid way to assess, at an arbitrary time, how close the current iterate is to the optimum. We develop an anytime-valid, data-dependent upper confidence sequence for the weighted average suboptimality of projected SGD, constructed via nonnegative supermartingales and requiring no smoothness or strong convexity. This confidence sequence yields a simple stopping rule that is provably $\varepsilon$-optimal with probability at least $1-α$ and is almost surely finite under standard stochastic approximation stepsizes. To the best of our knowledge, these are the first rigorous, time-uniform performance guarantees and finite-time $\varepsilon$-optimality certificates for projected SGD with general convex objectives, based solely on observable trajectory quantities.
• Abstract（参考訳）: コンベックス最適化のための確率勾配降下 (SGD) の停止規則を, 有意な信頼度系列の観点から検討した。 SGDの古典的な分析は、期待や固定された地平線での収束を保証するが、任意のタイミングで現在の反復が最適値にどれだけ近いかを評価する統計的に有効な方法を提供しない。 重み付けされたSGDの重み付き平均準最適性に対して,非負の超行列を用いて構築され,滑らかさや強い凸性を必要としない,任意の有意なデータ依存的高信頼シーケンスを開発する。 この自信列は、確率が少なくとも1-α$で、標準確率近似の段数でほぼ確実に有限である証明可能な$\varepsilon$-optimalの単純な停止規則を生成する。 我々の知る限り、これらは観測可能な軌道量のみに基づいて、初めて厳密で一様な性能保証と、投影されたSGDに対する有限時間$\varepsilon$-Optimality証明書である。

関連論文リスト

• Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods [7.061954653503474]
  微分厳格勾配勾配(DP-SGD)は、プライバシ保証付き機械学習モデルの標準アルゴリズムとなっている。 収束が広く期待されているにもかかわらず、このアルゴリズムは両凸な非賢明な状態のままであることを示す。
  論文  参考訳（メタデータ） (2025-11-20T17:42:40Z)
• Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent [14.19520637866741]
  信頼性セット構築のための乗算器ブートストラップの非漸近的妥当性を確立する。 我々は1/sqrtn$までの凸距離の近似レートを導出する。
  論文  参考訳（メタデータ） (2025-02-10T17:49:05Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Private Robust Estimation by Stabilizing Convex Relaxations [22.513117502159922]
  $(epsilon, delta)$-differentially private (DP) $(epsilon, delta)$-differentially private (DP) $(epsilon, delta)$-differentially private (DP)
  論文  参考訳（メタデータ） (2021-12-07T07:47:37Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。