論文の概要: Stochastic gradient descent with initial regularization

• arxiv url: http://arxiv.org/abs/2608.22953v1
• Date: Mon, 24 Aug 2026 08:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.963829
• Title: Stochastic gradient descent with initial regularization
• Title（参考訳）: 初期正規化を伴う確率勾配降下
• Abstract要約: 我々は,初期正則化(SGDIR)による勾配勾配勾配の解析と,その2乗損失に対する余剰リスクに基づく次元自由な上界の導出を行う。 ノイズレスの場合、モーメント、ソース、キャパシティの仮定において、平均および非平均のSGDIRに対して新しい境界を求める。 以上の結果から,SGDIRの過剰リスクは隆起回帰のそれよりは大きいことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze a variant of stochastic gradient descent with initial regularization (SGDIR) and derive dimension-free upper bounds on its expected excess risk for the squared loss. In the noiseless case, we obtain new bounds for both averaged and non-averaged SGDIR under moment, source, and capacity assumptions. For a particular value of the source parameter, these bounds are of order $m^{-2}\log^{2}m$, where the number of training samples is of order $m$. For another value of the source parameter, we obtain, for any $ε>0$, bounds of order $m^{-3+ε}$, provided that the capacity parameter exceeds $ε^{-1}$. We also establish a lower bound that matches our upper bounds in certain regimes up to a polylogarithmic factor. In the noisy case, we provide an instance-based comparison between SGDIR and ridge regression. Under general assumptions and a mild lower bound on the regularization parameter, we show that the expected excess risk of SGDIR is no larger than that of ridge regression, up to a polylogarithmic factor. Numerical experiments on synthetic and real data are consistent with our theoretical findings.
• Abstract（参考訳）: 我々は、初期正則化(SGDIR)による確率勾配勾配の変種を解析し、望まれる2乗損失の余剰リスクに基づいて次元自由な上界を導出する。 ノイズレスの場合、モーメント、ソース、キャパシティの仮定において、平均および非平均のSGDIRに対して新しい境界を求める。 ソースパラメータの特定の値に対して、これらのバウンダリは$m^{-2}\log^{2}m$であり、トレーニングサンプルの数は$m$である。 ソースパラメータの他の値に対して、任意の$ε>0$に対して、キャパシティパラメータが$ε^{-1}$を超えると、位数$m^{-3+ε}$のバウンダリが得られる。 また、ある種の状態において上界と一致する下界をポリ対数因子に設定する。 雑音の場合、SGDIRとリッジ回帰のインスタンスベース比較を提供する。 一般の仮定と正規化パラメータの緩やかな下限の下では、SGDIRの過剰リスクは、多重対数係数まで、隆起回帰のそれよりも大きくないことが示される。 合成および実データに関する数値実験は、我々の理論的知見と一致している。

関連論文リスト

• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Statistical inverse learning and $\ell^1$-regularization [0.27998963147546135]
  統計的逆学習の枠組みにおいて,有限,雑音,間接的な観測からスパース関数の回復について検討した。 我々は、ほぼ公約指数を確立し、予測基準と$ell1$復元基準の両方において、非漸近的高確率収束率を導出する。
  論文  参考訳（メタデータ） (2026-07-08T14:32:08Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise [17.899443444882888]
  不等式事前条件勾配降下(SPSGD)に対する最悪のケース複雑性理論を開発する。 正規化は問題パラメータが未知の場合には$mathcalO(T-fracp-13p-2)$,$mathcalO(T-fracp-12p)$で1次定常点への収束を保証する。 対照的に、プリコンディショナーと勾配推定との統計的依存により、クリッピングが最悪の場合に収束しないことが証明される。
  論文  参考訳（メタデータ） (2026-02-13T19:29:17Z)
• Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
  本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。 得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。 我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
  論文  参考訳（メタデータ） (2024-10-07T15:02:48Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• Stability and Risk Bounds of Iterative Hard Thresholding [41.082982732100696]
  アルゴリズム安定性の概念の下でIHTの新しいスパース一般化理論を導入する。 スパースレベル$k$のIHTは、スパース過剰リスクにおける収束率を$mathcaltilde O(n-1/2sqrtlog(n)log(p))$で楽しむことを示す。 理論的予測を確認するための予備的な数値的証拠が提供される。
  論文  参考訳（メタデータ） (2022-03-17T16:12:56Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。