論文の概要: Strong inductive biases provably prevent harmless interpolation

• arxiv url: http://arxiv.org/abs/2301.07605v1
• Date: Wed, 18 Jan 2023 15:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-19 15:33:47.036823
• Title: Strong inductive biases provably prevent harmless interpolation
• Title（参考訳）: 強い誘導バイアスは無害補間を確実に防止する
• Authors: Michael Aerni, Marco Milanta, Konstantin Donhauser, Fanny Yang
• Abstract要約: 本論文は, 推定者の帰納バイアスの強さに無害な程度の影響が及ぶことを論じる。 我々の主理論的結果は、高次元のカーネル回帰に対する厳密な非漸近境界を確立する。
• 参考スコア（独自算出の注目度）: 8.946655323517092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical wisdom suggests that estimators should avoid fitting noise to achieve good generalization. In contrast, modern overparameterized models can yield small test error despite interpolating noise -- a phenomenon often called "benign overfitting" or "harmless interpolation". This paper argues that the degree to which interpolation is harmless hinges upon the strength of an estimator's inductive bias, i.e., how heavily the estimator favors solutions with a certain structure: while strong inductive biases prevent harmless interpolation, weak inductive biases can even require fitting noise to generalize well. Our main theoretical result establishes tight non-asymptotic bounds for high-dimensional kernel regression that reflect this phenomenon for convolutional kernels, where the filter size regulates the strength of the inductive bias. We further provide empirical evidence of the same behavior for deep neural networks with varying filter sizes and rotational invariance.
• Abstract（参考訳）: 古典的知恵は、推定者は良い一般化を達成するためにノイズに適合しないようにすべきであることを示唆している。 対照的に、現代の過パラメータ化モデルでは、補間ノイズにもかかわらず、小さなテスト誤差が生じることがある -- しばしば「良心過剰」あるいは「無害補間」と呼ばれる現象である。 この論文は、補間が無害である程度は、推定子の帰納的バイアスの強さ、すなわち、特定の構造を持つ解をどの程度強く好むかにかかっていると論じている: 強い帰納的バイアスは無害な補間を防ぐが、弱い帰納的バイアスは、うまく一般化するために適切なノイズを必要とする。 我々の主理論的結果は、この現象を反映した高次元カーネル回帰の厳密な非漸近境界を確立し、フィルタサイズは誘導バイアスの強度を調節する。 さらに,フィルタサイズや回転不変性が異なる深層ニューラルネットワークに対して,同様の行動の実証的証拠を提供する。

関連論文リスト

• Towards Exact Computation of Inductive Bias [8.988109761916379]
  本稿では,タスクの一般化に必要な帰納バイアスを効率的に計算する手法を提案する。 より高次元的なタスクはより帰納的バイアスを必要とすることを示す。 提案した帰納バイアス指標は,特定のモデルアーキテクチャの利点を情報理論で解釈する。
  論文  参考訳（メタデータ） (2024-06-22T21:14:24Z)
• Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias [8.668428992331808]
  我々は,線形逆問題に対処する際,カーネルリッジ(レス)回帰のためのソボレフノルム学習曲線を開発した。 この結果から, 逆問題におけるPDE演算子は分散を安定化し, 固定次元問題に対して良性オーバーフィッティングを行うことが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T14:54:30Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Fast rates for noisy interpolation require rethinking the effects of inductive bias [8.946655323517092]
  高次元データヒンジの優れた一般化性能は、基底真理の単純な構造と推定器の強い帰納バイアスに基づく。 以上の結果から, より強い帰納バイアスは, 基礎的事実とより整合したより単純な構造を奨励するが, 騒音による有害効果も増大させることが示された。
  論文  参考訳（メタデータ） (2022-03-07T18:44:47Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。