論文の概要: Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory

• arxiv url: http://arxiv.org/abs/2011.06186v4
• Date: Thu, 24 Dec 2020 03:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 06:59:53.349804
• Title: Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory
• Title（参考訳）: 統計的学習理論における最適問題依存汎化誤差境界について
• Authors: Yunbei Xu, Assaf Zeevi
• Abstract要約: 我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。 一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。 我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
• 参考スコア（独自算出の注目度）: 11.840747467007963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study problem-dependent rates, i.e., generalization errors that scale near-optimally with the variance, the effective loss, or the gradient norms evaluated at the "best hypothesis." We introduce a principled framework dubbed "uniform localized convergence," and characterize sharp problem-dependent rates for central statistical learning problems. From a methodological viewpoint, our framework resolves several fundamental limitations of existing uniform convergence and localization analysis approaches. It also provides improvements and some level of unification in the study of localized complexities, one-sided uniform inequalities, and sample-based iterative algorithms. In the so-called "slow rate" regime, we provides the first (moment-penalized) estimator that achieves the optimal variance-dependent rate for general "rich" classes; we also establish improved loss-dependent rate for standard empirical risk minimization. In the "fast rate" regime, we establish finite-sample problem-dependent bounds that are comparable to precise asymptotics. In addition, we show that iterative algorithms like gradient descent and first-order Expectation-Maximization can achieve optimal generalization error in several representative problems across the areas of non-convex learning, stochastic optimization, and learning with missing data.
• Abstract（参考訳）: 問題依存率、すなわち「最良の仮説」で評価された分散、有効損失、勾配規範とほぼ最適にスケールする一般化誤差について検討する。 我々は,「一様局所収束」と呼ばれる原則付きフレームワークを導入し,中央統計学習問題に対する鋭い問題依存率を特徴付ける。 方法論的観点から,本フレームワークは既存の一様収束と局所化解析のアプローチの基本的限界を解決している。 また、局所化複雑性、一方の均一不等式、サンプルベースの反復アルゴリズムの研究における改善とある程度の統一も提供する。 いわゆる「低率」体制では、一般的な「リッチ」クラスの最適分散依存率を達成する最初の(減量ペナルド)推定器を提供し、標準経験的リスク最小化のための損失依存率の改善も行う。 高速」な体制では、正確な漸近に匹敵する有限サンプル問題依存境界を確立する。 さらに, 勾配降下や一階期待最大化といった反復アルゴリズムは, 非凸学習, 確率最適化, 欠落データを用いた学習といった分野において, 最適一般化誤差を実現できることを示した。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates [28.700663352789395]
  分散変分不等式問題(VIP)に対する通信効率の良い局所訓練手法の統一収束解析を提供する。 提案手法は,いくつかの新しい局所学習アルゴリズムの提案と解析を可能にする推定値に関する一般的な鍵となる仮定に基づいている。 異種データにおける分散変分不等式を解くために,通信複雑性の向上を図った最初の局所降下偏差アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T10:58:46Z)
• Best Subset Selection in Reduced Rank Regression [1.4699455652461724]
  提案アルゴリズムは,有意な確率でランク推定を行うことができることを示す。 がん研究における数値的研究と応用は、有効性と拡張性を示している。
  論文  参考訳（メタデータ） (2022-11-29T02:51:15Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• First-Order Algorithms for Nonlinear Generalized Nash Equilibrium Problems [88.58409977434269]
  非線形一般化ナッシュ均衡問題(NGNEP)における平衡計算の問題を考える。 我々の貢献は、2次ペナルティ法と拡張ラグランジアン法に基づく2つの単純な一階アルゴリズムフレームワークを提供することである。 これらのアルゴリズムに対する漸近的理論的保証を提供する。
  論文  参考訳（メタデータ） (2022-04-07T00:11:05Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
  既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。 我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
  論文  参考訳（メタデータ） (2021-12-24T17:21:04Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• Sparse recovery by reduced variance stochastic approximation [5.672132510411465]
  雑音観測によるスパース信号回復問題に対する反復2次最適化ルーチンの適用について論じる。 本稿では,Median-of-Meansのような手法を用いて,対応するソリューションの信頼性を向上する方法について述べる。
  論文  参考訳（メタデータ） (2020-06-11T12:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。