論文の概要: Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms

• arxiv url: http://arxiv.org/abs/2206.03834v1
• Date: Wed, 8 Jun 2022 12:14:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 20:08:08.212160
• Title: Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms
• Title（参考訳）: L_2$-stableランダムな学習アルゴリズムにおける一般化の信頼性向上
• Authors: Xiao-Tong Yuan and Ping Li
• Abstract要約: 適切に設計されたサブバッグプロセスは、データとアルゴリズムの両方にほぼ28の指数関数的一般化バウンダリをもたらすことを示す。 さらに、自然減衰学習率を持つ凸問題や非重み付き問題に対する高確率一般化境界を改善するために、総合的な結果を導出する。
• 参考スコア（独自算出の注目度）: 41.082982732100696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exponential generalization bounds with near-tight rates have recently been established for uniformly stable learning algorithms. The notion of uniform stability, however, is stringent in the sense that it is invariant to the data-generating distribution. Under the weaker and distribution dependent notions of stability such as hypothesis stability and $L_2$-stability, the literature suggests that only polynomial generalization bounds are possible in general cases. The present paper addresses this long standing tension between these two regimes of results and makes progress towards relaxing it inside a classic framework of confidence-boosting. To this end, we first establish an in-expectation first moment generalization error bound for potentially randomized learning algorithms with $L_2$-stability, based on which we then show that a properly designed subbagging process leads to near-tight exponential generalization bounds over the randomness of both data and algorithm. We further substantialize these generic results to stochastic gradient descent (SGD) to derive improved high-probability generalization bounds for convex or non-convex optimization problems with natural time decaying learning rates, which have not been possible to prove with the existing hypothesis stability or uniform stability based results.
• Abstract（参考訳）: 近年,一様安定学習アルゴリズムにおいて,近距離速度の指数一般化が確立されている。 しかし、一様安定性の概念は、データ生成分布に不変であるという意味では厳密である。 仮説安定性や$L_2$-stabilityのような安定性の弱で分布に依存した概念の下で、この文献は一般に多項式一般化境界のみが可能であることを示唆している。 本稿では,この2つの状態の長期的緊張に対処し,信頼性向上の古典的な枠組みの中での緩和に向けて前進する。 この目的のために,まず,確率的ランダム化学習アルゴリズムに対して,l_2$-stability の確率的確率的一般化誤差を仮定し,適切な設計を施したサブバッギングプロセスが,データとアルゴリズムの両方のランダム性に対してほぼ密接な指数的一般化に繋がることを示す。 さらに, 確率的勾配降下 (sgd) により, 既存の仮説安定性や一様安定性に基づく結果では証明できない自然時間減衰学習率を持つ凸あるいは非凸最適化問題に対して, 改良された高確率一般化境界を求める。

関連論文リスト

• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Private Robust Estimation by Stabilizing Convex Relaxations [22.513117502159922]
  $(epsilon, delta)$-differentially private (DP) $(epsilon, delta)$-differentially private (DP) $(epsilon, delta)$-differentially private (DP)
  論文  参考訳（メタデータ） (2021-12-07T07:47:37Z)
• Multi-fidelity Stability for Graph Representation Learning [38.31487722188051]
  エンフルティ忠実度安定性(英語版)と呼ばれるより弱い一様一般化を導入し、その例を示す。 2種類の安定性の相違点について,多相性設計を正当化する下界を提示する。
  論文  参考訳（メタデータ） (2021-11-25T01:33:41Z)
• Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability [48.62272919754204]
  ベイズ RL の一般化を、おそらくほぼ正しい (PAC) フレームワークで研究する。 我々の主な貢献は、正規化を加えることで、最適な政策が適切な意味で安定することを示しています。
  論文  参考訳（メタデータ） (2021-09-24T07:48:34Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Toward Better Generalization Bounds with Locally Elastic Stability [41.7030651617752]
  局所的な弾性安定性は、一様安定性に基づいて導出されたものよりも厳密な一般化境界を意味すると論じる。 我々は、有界支持ベクトルマシン、正規化最小二乗回帰、勾配降下の例を再考する。
  論文  参考訳（メタデータ） (2020-10-27T02:04:53Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。