論文の概要: Exact Gap between Generalization Error and Uniform Convergence in Random Feature Models

• arxiv url: http://arxiv.org/abs/2103.04554v1
• Date: Mon, 8 Mar 2021 05:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 06:30:27.838648
• Title: Exact Gap between Generalization Error and Uniform Convergence in Random Feature Models
• Title（参考訳）: ランダム特徴モデルにおける一般化誤差と一様収束の厳密なギャップ
• Authors: Zitong Yang, Yu Bai, Song Mei
• Abstract要約: 古典的統一収束境界とゼロトレーニングエラー予測器(インターポレータ)の実際のテスト誤差との間に大きなギャップがあることを示した。 本モデルでは,3量の解析式を導出し,証明する。 古典的一様収束境界が空である設定($infty$に分割)において、補間器上の一様収束は依然として解を補間するテスト誤差の非自明な境界を与える。
• 参考スコア（独自算出の注目度）: 12.588676054808044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work showed that there could be a large gap between the classical uniform convergence bound and the actual test error of zero-training-error predictors (interpolators) such as deep neural networks. To better understand this gap, we study the uniform convergence in the nonlinear random feature model and perform a precise theoretical analysis on how uniform convergence depends on the sample size and the number of parameters. We derive and prove analytical expressions for three quantities in this model: 1) classical uniform convergence over norm balls, 2) uniform convergence over interpolators in the norm ball (recently proposed by Zhou et al. (2020)), and 3) the risk of minimum norm interpolator. We show that, in the setting where the classical uniform convergence bound is vacuous (diverges to $\infty$), uniform convergence over the interpolators still gives a non-trivial bound of the test error of interpolating solutions. We also showcase a different setting where classical uniform convergence bound is non-vacuous, but uniform convergence over interpolators can give an improved sample complexity guarantee. Our result provides a first exact comparison between the test errors and uniform convergence bounds for interpolators beyond simple linear models.
• Abstract（参考訳）: 最近の研究では、古典的な均一収束境界と、ディープニューラルネットワークなどのゼロトレーニングエラー予測器(インターポレータ)の実際のテストエラーとの間に大きなギャップがあることが示された。 このギャップをよりよく理解するために,非線形ランダム特徴モデルの一様収束を研究し,一様収束がサンプルサイズとパラメータ数にどの程度依存しているかを理論的に解析する。 このモデルでは、1)ノルムボールに対する古典的一様収束、2)ノルムボールにおける補間体に対する一様収束(最近Zhou et alによって提案されている)の3つの量の解析式を導出し、証明する。 (2020))、および3)最小ノルム補間器のリスク。 古典的一様収束境界が空である設定($\infty$に分割する)において、補間器上の一様収束は依然として解を補間するテスト誤差の非自明な境界を与える。 また, 古典的一様収束境界は空でないが, 補間体上の一様収束は, サンプル複雑性の保証を改善する。 この結果は、単純な線形モデルを超えた補間器の試験誤差と一様収束境界との第一の正確な比較を与える。

関連論文リスト

• C$^3$DG: Conditional Domain Generalization for Hyperspectral Imagery Classification with Convergence and Constrained-risk Theories [23.21421412818663]
  ハイパースペクトル画像(HSI)分類は、ハイパースペクトルモノスペクトルの課題である。 共同空間スペクトル特徴抽出はこの問題に対する一般的な解法である。 本稿では,収束性および誤差制約付き条件付き領域一般化法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:03:45Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting [35.78863301525758]
  任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
  論文  参考訳（メタデータ） (2021-06-17T06:58:10Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)
• Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition [34.235007566913396]
  ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。 バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。 我々はまた、著しく豊かな現象論も分析する。
  論文  参考訳（メタデータ） (2020-11-04T21:04:02Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• On Uniform Convergence and Low-Norm Interpolation Learning [25.96459928769678]
  経験的誤差と人口的誤差の差を均一に有界に表すことは,標準球における学習を全く示さないことを示す。 我々は、最小限のノルム補間器の整合性は、わずかに弱いが標準的概念、つまり標準球におけるゼロエラー予測器の一様収束で説明できると主張している。
  論文  参考訳（メタデータ） (2020-06-10T16:49:28Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。