論文の概要: Generalization Bounds for Label Noise Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2311.00274v1
- Date: Wed, 1 Nov 2023 03:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:55:31.762453
- Title: Generalization Bounds for Label Noise Stochastic Gradient Descent
- Title（参考訳）: ラベル雑音確率勾配の一般化境界
- Authors: Jung Eun Huh (1), Patrick Rebeschini (1) ((1) University of Oxford)
- Abstract要約: 非測定条件でのラベルノイズを伴う勾配降下(SGD)の一般化誤差境界について検討する。
我々の分析はラベルノイズの影響についての洞察を与える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop generalization error bounds for stochastic gradient descent (SGD)
with label noise in non-convex settings under uniform dissipativity and
smoothness conditions. Under a suitable choice of semimetric, we establish a
contraction in Wasserstein distance of the label noise stochastic gradient flow
that depends polynomially on the parameter dimension $d$. Using the framework
of algorithmic stability, we derive time-independent generalisation error
bounds for the discretized algorithm with a constant learning rate. The error
bound we achieve scales polynomially with $d$ and with the rate of $n^{-2/3}$,
where $n$ is the sample size. This rate is better than the best-known rate of
$n^{-1/2}$ established for stochastic gradient Langevin dynamics (SGLD) --
which employs parameter-independent Gaussian noise -- under similar conditions.
Our analysis offers quantitative insights into the effect of label noise.
- Abstract（参考訳）: 均一な解離性と平滑性条件下での非凸条件におけるラベルノイズを伴う確率勾配降下(SGD)の一般化誤差境界を開発する。
半計量の適切な選択の下では、パラメータ次元 $d$ に多項式的に依存するラベルノイズ確率勾配流れのwasserstein距離の縮小を確立する。
アルゴリズム安定性の枠組みを用いて,一定の学習率を持つ離散化アルゴリズムの時間非依存一般化誤差境界を導出する。
私たちが達成したエラーバウンドは、多項式的に$d$と$n^{-2/3}$でスケールし、ここで$n$はサンプルサイズである。
この速度は、同様の条件下でパラメータ非依存のガウス雑音を用いる確率勾配ランゲヴィン力学(SGLD)のために確立された最もよく知られた$n^{-1/2}$よりも優れている。
本分析はラベルノイズの影響を定量的に把握する。
関連論文リスト
- Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。
解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
論文 参考訳（メタデータ） (2023-10-28T18:53:41Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - Non-asymptotic bounds for stochastic optimization with biased noisy
gradient oracles [8.655294504286635]
関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。
提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
論文 参考訳（メタデータ） (2020-02-26T12:53:04Z) - Oracle Lower Bounds for Stochastic Gradient Sampling Algorithms [39.746670539407084]
我々は、$bbRd$の強い対数凹密度からサンプリングする問題を考察する。
必要なログ密度の勾配クエリ数に基づいて,情報理論の下界を証明した。
論文 参考訳（メタデータ） (2020-02-01T23:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。