論文の概要: Toward Better Generalization Bounds with Locally Elastic Stability

• arxiv url: http://arxiv.org/abs/2010.13988v2
• Date: Tue, 13 Jul 2021 17:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:05:08.733215
• Title: Toward Better Generalization Bounds with Locally Elastic Stability
• Title（参考訳）: 局所弾性安定性を持つより良い一般化境界に向けて
• Authors: Zhun Deng, Hangfeng He, Weijie J. Su
• Abstract要約: 局所的な弾性安定性は、一様安定性に基づいて導出されたものよりも厳密な一般化境界を意味すると論じる。 我々は、有界支持ベクトルマシン、正規化最小二乗回帰、勾配降下の例を再考する。
• 参考スコア（独自算出の注目度）: 41.7030651617752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithmic stability is a key characteristic to ensure the generalization ability of a learning algorithm. Among different notions of stability, \emph{uniform stability} is arguably the most popular one, which yields exponential generalization bounds. However, uniform stability only considers the worst-case loss change (or so-called sensitivity) by removing a single data point, which is distribution-independent and therefore undesirable. There are many cases that the worst-case sensitivity of the loss is much larger than the average sensitivity taken over the single data point that is removed, especially in some advanced models such as random feature models or neural networks. Many previous works try to mitigate the distribution independent issue by proposing weaker notions of stability, however, they either only yield polynomial bounds or the bounds derived do not vanish as sample size goes to infinity. Given that, we propose \emph{locally elastic stability} as a weaker and distribution-dependent stability notion, which still yields exponential generalization bounds. We further demonstrate that locally elastic stability implies tighter generalization bounds than those derived based on uniform stability in many situations by revisiting the examples of bounded support vector machines, regularized least square regressions, and stochastic gradient descent.
• Abstract（参考訳）: アルゴリズムの安定性は、学習アルゴリズムの一般化能力を保証する重要な特徴である。 安定性の異なる概念の中で、'emph{uniform stability} は指数一般化境界をもたらす最も一般的な概念である。 しかしながら、一様安定性は、分散非依存であり、従って望ましくない単一のデータポイントを削除することで、最悪の損失変化(いわゆる感度)のみを考える。 損失の最悪のケースの感度は、削除された単一のデータポイントよりも、特にランダム特徴モデルやニューラルネットワークのようないくつかの高度なモデルにおいて、平均的な感度よりもはるかに大きい場合が多い。 以前の多くの研究は、安定性の弱い概念を提唱することによって分布独立問題を緩和しようとするが、それらは多項式境界のみを生じるか、サンプルサイズが無限大になるにつれて導かれる境界は消えない。 このことから、より弱で分布に依存した安定性の概念として \emph{locally elastic stability} を提案する。 さらに, 局所弾性安定性は, 有界支持ベクトルマシン, 正則化最小二乗回帰, 確率的勾配降下の例を再検討することにより, 多くの状況において一様安定性に基づくものよりも厳密な一般化境界を示すことを示した。

関連論文リスト

• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms [41.082982732100696]
  適切に設計されたサブバッグプロセスは、データとアルゴリズムの両方にほぼ28の指数関数的一般化バウンダリをもたらすことを示す。 さらに、自然減衰学習率を持つ凸問題や非重み付き問題に対する高確率一般化境界を改善するために、総合的な結果を導出する。
  論文  参考訳（メタデータ） (2022-06-08T12:14:01Z)
• Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares [12.2950446921662]
  近年の研究では、重い尾が最適化において出現し、尾の重みが一般化誤差と関連していることが示されている。 アルゴリズム安定性のレンズによる勾配降下(SGD)のテール挙動と一般化特性の新たなリンクを確立する。 我々は、合成および実際のニューラルネットワーク実験で理論を支持する。
  論文  参考訳（メタデータ） (2022-06-02T19:59:48Z)
• Provably Auditing Ordinary Least Squares in Low Dimensions [17.655785504931913]
  ほとんどの測定基準は、通常最小二乗の線形回帰から導かれる結論の安定性を測定する。 最近の研究は、単純で大域的、有限サンプル安定度(英語版)を提案しており、分析の再実行が結論を覆すために取り除かなければならないサンプルの最小数である。 コ変数の数が一定であるがサンプルの数が多い低次元状態において、この計量を確実に推定する効率的なアルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2022-05-28T00:45:10Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。