論文の概要: Fast rates for noisy interpolation require rethinking the effects of inductive bias

• arxiv url: http://arxiv.org/abs/2203.03597v1
• Date: Mon, 7 Mar 2022 18:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:26:25.070623
• Title: Fast rates for noisy interpolation require rethinking the effects of inductive bias
• Title（参考訳）: 雑音補間における高速速度は帰納バイアスの影響を再考する必要がある
• Authors: Konstantin Donhauser, Nicolo Ruggeri, Stefan Stojanovic and Fanny Yang
• Abstract要約: 高次元データヒンジの優れた一般化性能は、基底真理の単純な構造と推定器の強い帰納バイアスに基づく。 以上の結果から, より強い帰納バイアスは, 基礎的事実とより整合したより単純な構造を奨励するが, 騒音による有害効果も増大させることが示された。
• 参考スコア（独自算出の注目度）: 8.946655323517092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Good generalization performance on high-dimensional data crucially hinges on a simple structure of the ground truth and a corresponding strong inductive bias of the estimator. Even though this intuition is valid for regularized models, in this paper we caution against a strong inductive bias for interpolation in the presence of noise: Our results suggest that, while a stronger inductive bias encourages a simpler structure that is more aligned with the ground truth, it also increases the detrimental effect of noise. Specifically, for both linear regression and classification with a sparse ground truth, we prove that minimum $\ell_p$-norm and maximum $\ell_p$-margin interpolators achieve fast polynomial rates up to order $1/n$ for $p > 1$ compared to a logarithmic rate for $p = 1$. Finally, we provide experimental evidence that this trade-off may also play a crucial role in understanding non-linear interpolating models used in practice.
• Abstract（参考訳）: 高次元データに対する良い一般化性能は、基底真理の単純な構造と、推定器の強い帰納バイアスに強く依存する。 この直観は正規化モデルでは有効であるが、本論文ではノイズの存在下での補間に対する強い帰納的バイアスに注意する。 具体的には、疎基底真理を持つ線形回帰と分類の両方について、最小$\ell_p$-normと最大$\ell_p$-marginの補間が、$p = 1$の対数率と比較して1/n$ for $p > 1$までの高速多項式率を達成することを証明している。 最後に、このトレードオフが、実際に使用される非線形補間モデルを理解する上で重要な役割を果たす可能性があることを実験的に示す。

関連論文リスト

• Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees [56.80920351680438]
  本研究では,重音の存在下でのオンライン学習における高確率収束について検討する。 切断のみを考慮し、有界な$p$-thモーメントでノイズを必要とする最先端技術と比較して、幅広い非線形性の保証を提供する。
  論文  参考訳（メタデータ） (2024-10-17T18:25:28Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Strong inductive biases provably prevent harmless interpolation [8.946655323517092]
  本論文は, 推定者の帰納バイアスの強さに無害な程度の影響が及ぶことを論じる。 我々の主理論的結果は、高次元のカーネル回帰に対する厳密な非漸近境界を確立する。
  論文  参考訳（メタデータ） (2023-01-18T15:37:11Z)
• Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias [4.37441734515066]
  $mathcalR$-normは、2層ニューラルネットワークの誘導バイアスの基礎である。 これらの補間子は,データに適合するリッジ関数があっても,本質的に多変量関数であることがわかった。
  論文  参考訳（メタデータ） (2022-06-10T18:33:15Z)
• Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple descent [19.781475554462553]
  本稿では、最小$ell_1$-norm補間器という、重要な種類の補間器の理論的理解を追求する。 我々は、奇異な多発現象である厳密な理論的正当化を観察し、提供する。 我々の発見は、2つの未知の非線形方程式からなる2つのシステムによって制御されるリスク行動の正確な特徴に基づいている。
  論文  参考訳（メタデータ） (2021-10-18T17:51:14Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。