論文の概要: Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2006.08157v1
• Date: Mon, 15 Jun 2020 06:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:47:24.147899
• Title: Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent
• Title（参考訳）: 確率勾配降下の安定性と一般化のきめ細かい解析
• Authors: Yunwen Lei and Yiming Ying
• Abstract要約: 我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
• 参考スコア（独自算出の注目度）: 55.85456985750134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently there are a considerable amount of work devoted to the study of the algorithmic stability and generalization for stochastic gradient descent (SGD). However, the existing stability analysis requires to impose restrictive assumptions on the boundedness of gradients, strong smoothness and convexity of loss functions. In this paper, we provide a fine-grained analysis of stability and generalization for SGD by substantially relaxing these assumptions. Firstly, we establish stability and generalization for SGD by removing the existing bounded gradient assumptions. The key idea is the introduction of a new stability measure called on-average model stability, for which we develop novel bounds controlled by the risks of SGD iterates. This yields generalization bounds depending on the behavior of the best model, and leads to the first-ever-known fast bounds in the low-noise setting using stability approach. Secondly, the smoothness assumption is relaxed by considering loss functions with Holder continuous (sub)gradients for which we show that optimal bounds are still achieved by balancing computation and stability. To our best knowledge, this gives the first-ever-known stability and generalization bounds for SGD with even non-differentiable loss functions. Finally, we study learning problems with (strongly) convex objectives but non-convex loss functions.
• Abstract（参考訳）: 近年,確率勾配降下法(SGD)のアルゴリズム的安定性と一般化に関する研究に多くの研究がなされている。 しかし、既存の安定性解析では、勾配の有界性、強い滑らか性、損失関数の凸性に制限的な仮定を課す必要がある。 本稿では,これらの仮定を実質的に緩和することにより,SGDの安定性と一般化を詳細に解析する。 まず,既存の境界勾配仮定を取り除き,sgdの安定性と一般化を確立する。 重要なアイデアは、sgdイテレートのリスクによって制御される新しい境界を開発する、平均モデル安定性と呼ばれる新しい安定性尺度の導入である。 これにより、最善のモデルの振る舞いに依存する一般化境界が得られ、安定性アプローチを用いた低ノイズ設定において、最初に知られたファストバウンドが導かれる。 第二に、スムースネスの仮定は、計算と安定性のバランスをとることで最適境界がまだ達成されていることを示すホルダー連続(部分)勾配の損失関数を考えることで緩和される。 我々の知る限りでは、これはSGD に対して、微分不能な損失関数でさえも初めて知られている安定性と一般化境界を与える。 最後に,(強い)凸目標と非凸損失関数との学習問題を考察した。

関連論文リスト

• A Precise Characterization of SGD Stability Using Loss Surface Geometry [8.942671556572073]
  Descent Gradient (SGD) は実世界の実証的な成功を証明しているが、理論的な理解は比較的限られている。 最近の研究は、その実用性に寄与する重要な要因である暗黙の正規化を照らしている。
  論文  参考訳（メタデータ） (2024-01-22T19:46:30Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• Exact Mean Square Linear Stability Analysis for SGD [28.65663421598186]
  勾配降下(SGD)の線形安定性に必要かつ十分なステップサイズを明示的条件として提示する。 SGDの安定性閾値は、全バッチ勾配ステップw.p.$-p$と1サンプル勾配ステップw.p.$p$の混合プロセスと等価であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:29:23Z)
• The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent [32.25490196411385]
  動的安定レンズによる勾配降下(SGD)の暗黙的正則化について検討する。 2層ReLUネットワークと対角線ネットワークの一般化特性を解析する。
  論文  参考訳（メタデータ） (2023-05-27T14:54:21Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Stability of SGD: Tightness Analysis and Improved Bounds [8.831597193643628]
  グラディエント・Descent(SGD)に基づく手法は、実際によく一般化された大規模機械学習モデルの訓練に広く用いられている。 解析[18]は滑らかな関数に対して厳密であり、そうでなければ、どのような損失とデータに対して、分析は改善できるのか?
  論文  参考訳（メタデータ） (2021-02-10T05:43:27Z)
• Toward Better Generalization Bounds with Locally Elastic Stability [41.7030651617752]
  局所的な弾性安定性は、一様安定性に基づいて導出されたものよりも厳密な一般化境界を意味すると論じる。 我々は、有界支持ベクトルマシン、正規化最小二乗回帰、勾配降下の例を再考する。
  論文  参考訳（メタデータ） (2020-10-27T02:04:53Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。