論文の概要: The Implicit Regularization of Stochastic Gradient Flow for Least
Squares
- arxiv url: http://arxiv.org/abs/2003.07802v2
- Date: Fri, 19 Jun 2020 21:55:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 20:53:55.631411
- Title: The Implicit Regularization of Stochastic Gradient Flow for Least
Squares
- Title（参考訳）: 最小正方形に対する確率勾配流の帰納規則化
- Authors: Alnur Ali, Edgar Dobriban, and Ryan J. Tibshirani
- Abstract要約: 最小二乗回帰の基本問題に適用したミニバッチ勾配勾配の暗黙正則化について検討した。
我々は勾配流と呼ばれる勾配降下と同じモーメントを持つ連続時間微分方程式を利用する。
チューニングパラメータ $lambda = 1/t$ で、リッジレグレッションを越えて、時間 $t$ での勾配フローの過剰なリスクに制限を与えます。
- 参考スコア（独自算出の注目度）: 24.976079444818552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the implicit regularization of mini-batch stochastic gradient
descent, when applied to the fundamental problem of least squares regression.
We leverage a continuous-time stochastic differential equation having the same
moments as stochastic gradient descent, which we call stochastic gradient flow.
We give a bound on the excess risk of stochastic gradient flow at time $t$,
over ridge regression with tuning parameter $\lambda = 1/t$. The bound may be
computed from explicit constants (e.g., the mini-batch size, step size, number
of iterations), revealing precisely how these quantities drive the excess risk.
Numerical examples show the bound can be small, indicating a tight relationship
between the two estimators. We give a similar result relating the coefficients
of stochastic gradient flow and ridge. These results hold under no conditions
on the data matrix $X$, and across the entire optimization path (not just at
convergence).
- Abstract（参考訳）: 最小二乗回帰の基本問題に適用したミニバッチ確率勾配勾配の暗黙正則化について検討した。
我々は、確率勾配流と呼ばれる確率勾配降下と同じモーメントを持つ連続時間確率微分方程式を利用する。
チューニングパラメータを $\lambda = 1/t$ とすることで、時間 $t$, over ridgeレグレッションにおける確率勾配フローの過大なリスクを負う。
境界は明示的な定数(例えば、ミニバッチサイズ、ステップサイズ、反復数)から計算され、これらの量がどのように余剰リスクを駆動するかを正確に明らかにすることができる。
数値的な例は、境界が小さいことを示し、2つの推定器の密接な関係を示している。
同様の結果として,確率的勾配流とリッジの係数について述べる。
これらの結果は、データ行列の$X$と最適化パス全体(収束点だけでなく)の条件に満たない。
関連論文リスト
- Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - Discrete error dynamics of mini-batch gradient descent for least squares regression [4.159762735751163]
置換のないサンプリングにおいて,少なくとも正方形に対するミニバッチ勾配勾配のダイナミクスについて検討した。
また、連続時間勾配流解析では検出できない離散化効果について検討し、最小バッチ勾配降下がステップサイズ依存解に収束することを示す。
論文 参考訳（メタデータ） (2024-06-06T02:26:14Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳（メタデータ） (2021-02-19T12:22:56Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z) - Non-asymptotic bounds for stochastic optimization with biased noisy
gradient oracles [8.655294504286635]
関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。
提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
論文 参考訳（メタデータ） (2020-02-26T12:53:04Z) - Stochastic gradient-free descents [8.663453034925363]
本稿では,最適化問題の解法として,モーメント付き勾配法と加速勾配を提案する。
本研究では,これらの手法の収束挙動を平均分散フレームワークを用いて解析する。
論文 参考訳（メタデータ） (2019-12-31T13:56:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。