論文の概要: Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting

• arxiv url: http://arxiv.org/abs/2106.09276v1
• Date: Thu, 17 Jun 2021 06:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 16:02:16.211529
• Title: Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting
• Title（参考訳）: 補間器の一様収束性:ガウス幅、ノルム境界、およびベニグオーバーフィッティング
• Authors: Frederic Koehler and Lijia Zhou and Danica J. Sutherland and Nathan Srebro
• Abstract要約: 任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
• 参考スコア（独自算出の注目度）: 35.78863301525758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider interpolation learning in high-dimensional linear regression with Gaussian data, and prove a generic uniform convergence guarantee on the generalization error of interpolators in an arbitrary hypothesis class in terms of the class's Gaussian width. Applying the generic bound to Euclidean norm balls recovers the consistency result of Bartlett et al. (2020) for minimum-norm interpolators, and confirms a prediction of Zhou et al. (2020) for near-minimal-norm interpolators in the special case of Gaussian data. We demonstrate the generality of the bound by applying it to the simplex, obtaining a novel consistency result for minimum l1-norm interpolators (basis pursuit). Our results show how norm-based generalization bounds can explain and be used to analyze benign overfitting, at least in some settings.
• Abstract（参考訳）: ガウスデータの高次元線形回帰における補間学習を考察し、クラスのガウス幅の観点から任意の仮説クラスにおける補間子の一般化誤差に対する一様収束を保証する。 ユークリッドノルム球へのジェネリックバウンドの適用は、Bartlett et alの一貫性を回復する。 (2020) を最小ノルム補間器とし, 周らの予測を確認する。 (2020) ガウスデータの特別な場合における最小ノルム補間器について 最小 l1-ノルム補間器(基底探索)に対する新しい一貫性結果を得るため, 単純体に適用することで, 境界の一般性を実証する。 この結果は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models [4.093769373833101]
  Subramanian et al.'22 の予想では、データポイント、特徴、クラスの数はすべて一緒になる。 我々の新しい下限は情報理論の強い逆に似ており、それらは誤分類率が0か1に近づくことを証明している。 厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。
  論文  参考訳（メタデータ） (2023-06-23T00:59:15Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Exact Gap between Generalization Error and Uniform Convergence in Random Feature Models [12.588676054808044]
  古典的統一収束境界とゼロトレーニングエラー予測器(インターポレータ)の実際のテスト誤差との間に大きなギャップがあることを示した。 本モデルでは,3量の解析式を導出し,証明する。 古典的一様収束境界が空である設定($infty$に分割)において、補間器上の一様収束は依然として解を補間するテスト誤差の非自明な境界を与える。
  論文  参考訳（メタデータ） (2021-03-08T05:20:36Z)
• On the robustness of minimum-norm interpolators [0.0]
  本稿では,線形モデルにおける最小ノルム補間推定器に関する一般理論を,加法的,潜在的に対角的,誤差の存在下で展開する。 誤差の最小ノルム補間子のラデマッハノルムと、真のパラメータの周りの部分微分の形状に関する、予測誤差の定量的境界が与えられる。
  論文  参考訳（メタデータ） (2020-12-01T20:03:20Z)
• On Uniform Convergence and Low-Norm Interpolation Learning [25.96459928769678]
  経験的誤差と人口的誤差の差を均一に有界に表すことは,標準球における学習を全く示さないことを示す。 我々は、最小限のノルム補間器の整合性は、わずかに弱いが標準的概念、つまり標準球におけるゼロエラー予測器の一様収束で説明できると主張している。
  論文  参考訳（メタデータ） (2020-06-10T16:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。