論文の概要: Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization

• arxiv url: http://arxiv.org/abs/2505.11434v1
• Date: Fri, 16 May 2025 16:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.672335
• Title: Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
• Title（参考訳）: 流れの制御:正則化が低下する確率勾配の安定性と収束性
• Authors: Sebastian Kassing, Simon Weissmann, Leif Döring,
• Abstract要約: 我々は、余分な有界性仮定を伴わない元の問題の最小ノルム解に対して、reg-SGDの強い収束性を証明する。 分析の結果,Tikhonov正則化がSGDの流れを制御し,安定した学習力学が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.40964539027092917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The present article studies the minimization of convex, L-smooth functions defined on a separable real Hilbert space. We analyze regularized stochastic gradient descent (reg-SGD), a variant of stochastic gradient descent that uses a Tikhonov regularization with time-dependent, vanishing regularization parameter. We prove strong convergence of reg-SGD to the minimum-norm solution of the original problem without additional boundedness assumptions. Moreover, we quantify the rate of convergence and optimize the interplay between step-sizes and regularization decay. Our analysis reveals how vanishing Tikhonov regularization controls the flow of SGD and yields stable learning dynamics, offering new insights into the design of iterative algorithms for convex problems, including those that arise in ill-posed inverse problems. We validate our theoretical findings through numerical experiments on image reconstruction and ODE-based inverse problems.
• Abstract（参考訳）: 本稿では,可分実ヒルベルト空間上で定義される凸,L-滑らか関数の最小化について検討する。 時間依存の正則化パラメータを持つTikhonov正規化を用いた確率勾配降下の変種である正規化確率勾配降下(reg-SGD)を解析する。 我々は、余分な有界性仮定を伴わない元の問題の最小ノルム解に対して、reg-SGDの強い収束性を証明する。 さらに、収束率を定量化し、ステップサイズと正規化崩壊の間の相互作用を最適化する。 我々の分析は、Tikhonov正則化がSGDの流れを制御し、安定した学習力学をもたらす方法を明らかにし、不測の逆問題を含む凸問題に対する反復アルゴリズムの設計に関する新たな洞察を提供する。 画像再構成とODEに基づく逆問題に関する数値実験により理論的知見を検証した。

関連論文リスト

• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Learned convex regularizers for inverse problems [3.294199808987679]
  本稿では,逆問題に対する正規化器として,データ適応型入力ニューラルネットワーク(ICNN)を学習することを提案する。 パラメータ空間における単調な誤差を反復で減少させる部分次アルゴリズムの存在を実証する。 提案した凸正則化器は, 逆問題に対する最先端のデータ駆動技術に対して, 少なくとも競争力があり, 時には優位であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T18:58:35Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。