論文の概要: Learning Theory of the SVRG: Generalization and Convergence Analysis

• arxiv url: http://arxiv.org/abs/2605.28513v1
• Date: Wed, 27 May 2026 14:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.101854
• Title: Learning Theory of the SVRG: Generalization and Convergence Analysis
• Title（参考訳）: SVRGの学習理論:一般化と収束解析
• Authors: Yunwen Lei, Zimeng Wang, Xiaoming Yuan,
• Abstract要約: ばらつき低減法 (VR) は, 分散度を低下させる勾配を用いており, その効率性から機械学習における大規模最適化問題の解法として広く応用されている。 本研究は,SVRG(行動可変化グラディエント)をアルゴリズム的安定性のレンズを用いて,代表的VR手法の非空的解析法を開発した。
• 参考スコア（独自算出の注目度）: 20.643275323974425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variance reduction (VR) methods employ stochastic gradients with decreasing variance, and they have been widely applied to solve large-scale optimization problems in machine learning because of their efficiency. Existing theoretical studies of VR methods are mainly focused on the convergence analysis, leaving the generalization behavior largely unexplored. In this paper, we bridge this gap by developing the first non-vacuous generalization analysis of the representative VR method: Stochastic Variance Reduced Gradient (SVRG), through the lens of algorithmic stability. In particular, we establish sharp stability bounds of the SVRG in both convex and strongly convex settings by exploiting its algorithmic structure. The obtained bounds are data-dependent, because the training errors are incorporated along the trajectory. Our analysis clarifies the interplay between optimization and generalization, leading to optimal excess population risk bounds in both settings. Our approach differs substantially from existing analyses of stochastic algorithms in the sense that we decompose the SVRG update as an SGD-like step plus a zero-mean correction term and then introduce novel Lyapunov functions to absorb the additional gradient terms induced by the reference points. Our analytical framework can be generalized to other VR methods, and we demonstrate the generalization by the well-known Stochastic Average Gradient Accelerated (SAGA) method.
• Abstract（参考訳）: ばらつき低減法(VR)は分散を減少させる確率勾配を用いており,その効率性から機械学習の大規模最適化問題に広く応用されている。 既存のVR法の理論研究は主に収束解析に焦点が当てられており、一般化の挙動はほとんど解明されていない。 本稿では,このギャップを,SVRG(Stochastic Variance Reduced Gradient)という代表的VR手法を,アルゴリズム的安定性のレンズを用いて,非空洞的一般化解析により埋める。 特に,SVRGの鋭い安定性境界を,そのアルゴリズム構造を利用して,凸面と強凸面の両方で確立する。 得られた境界は、トレーニングエラーが軌道に沿って組み込まれているため、データ依存である。 本分析により,最適化と一般化の相互作用が明確化され,両設定の過大な集団リスク境界が最適となる。 提案手法は,SVRG更新をSGDライクなステップとゼロ平均補正項として分解し,参照点によって誘導される追加勾配項を吸収する新しいリアプノフ関数を導入するという意味で,従来の確率的アルゴリズムとは大きく異なる。 我々の分析フレームワークは他のVR手法に一般化することができ、よく知られたStochastic Average Gradient Accelerated (SAGA)法による一般化を実証する。

関連論文リスト

• Stochastic Non-Smooth Convex Optimization with Unbounded Gradients [10.350093268971836]
  我々は,クリップされたAdamWが,SGDWやAdaGradといった他の一般的な最適化手法よりも理論的に優れていることを示す。 また,AdamWの指数的に重み付けされた蓄積の重要な役割を,単純な平均化とは対照的に確立する。
  論文  参考訳（メタデータ） (2026-05-15T01:43:22Z)
• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions [3.308257914042897]
  本稿では,大規模教師あり学習のための新しいカーネル勾配統合下降アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。
  論文  参考訳（メタデータ） (2025-10-05T15:04:03Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。