論文の概要: On Uniform Convergence and Low-Norm Interpolation Learning

• arxiv url: http://arxiv.org/abs/2006.05942v3
• Date: Thu, 14 Jan 2021 00:22:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:49:19.443208
• Title: On Uniform Convergence and Low-Norm Interpolation Learning
• Title（参考訳）: 一様収束と低ノルム補間学習について
• Authors: Lijia Zhou and Danica J. Sutherland and Nathan Srebro
• Abstract要約: 経験的誤差と人口的誤差の差を均一に有界に表すことは,標準球における学習を全く示さないことを示す。 我々は、最小限のノルム補間器の整合性は、わずかに弱いが標準的概念、つまり標準球におけるゼロエラー予測器の一様収束で説明できると主張している。
• 参考スコア（独自算出の注目度）: 25.96459928769678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider an underdetermined noisy linear regression model where the minimum-norm interpolating predictor is known to be consistent, and ask: can uniform convergence in a norm ball, or at least (following Nagarajan and Kolter) the subset of a norm ball that the algorithm selects on a typical input set, explain this success? We show that uniformly bounding the difference between empirical and population errors cannot show any learning in the norm ball, and cannot show consistency for any set, even one depending on the exact algorithm and distribution. But we argue we can explain the consistency of the minimal-norm interpolator with a slightly weaker, yet standard, notion: uniform convergence of zero-error predictors in a norm ball. We use this to bound the generalization error of low- (but not minimal-) norm interpolating predictors.
• Abstract（参考訳）: 最小ノルム補間予測器が一貫していることが知られている、不定のノイズ線形回帰モデルを考える。ノルムボール内の一様収束や、アルゴリズムが典型的な入力セットで選択するノルムボールのサブセット(ナガラジャンとコルターに続く)は、この成功を説明することができるか? 経験的誤差と人口的誤差の差を均一に有界化することは、標準球における学習を示さず、正確なアルゴリズムや分布に依存しても、任意の集合に対して一貫性を示すことができないことを示す。 しかし、最小限のノルム補間器の整合性はわずかに弱いが標準的概念で説明できる:標準球におけるゼロエラー予測器の一様収束である。 これを低(しかし最小ではない)ノルム補間予測器の一般化誤差に限定するために使う。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting [35.78863301525758]
  任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
  論文  参考訳（メタデータ） (2021-06-17T06:58:10Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Exact Gap between Generalization Error and Uniform Convergence in Random Feature Models [12.588676054808044]
  古典的統一収束境界とゼロトレーニングエラー予測器(インターポレータ)の実際のテスト誤差との間に大きなギャップがあることを示した。 本モデルでは,3量の解析式を導出し,証明する。 古典的一様収束境界が空である設定($infty$に分割)において、補間器上の一様収束は依然として解を補間するテスト誤差の非自明な境界を与える。
  論文  参考訳（メタデータ） (2021-03-08T05:20:36Z)
• On the robustness of minimum-norm interpolators [0.0]
  本稿では,線形モデルにおける最小ノルム補間推定器に関する一般理論を,加法的,潜在的に対角的,誤差の存在下で展開する。 誤差の最小ノルム補間子のラデマッハノルムと、真のパラメータの周りの部分微分の形状に関する、予測誤差の定量的境界が与えられる。
  論文  参考訳（メタデータ） (2020-12-01T20:03:20Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
  ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。 座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-03-30T20:44:56Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。