論文の概要: Beyond Benign Overfitting in Nadaraya-Watson Interpolators

• arxiv url: http://arxiv.org/abs/2502.07480v2
• Date: Thu, 22 May 2025 07:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:21.53497
• Title: Beyond Benign Overfitting in Nadaraya-Watson Interpolators
• Title（参考訳）: Nadaraya-Watson補間器における便益超過
• Authors: Daniel Barzilai, Guy Kornowski, Ohad Shamir,
• Abstract要約: 古典的補間型ナダラヤ・ワトソン推定器(シェパード法とも呼ばれる)を再検討する。 我々は、破滅から良心に至るまで、単調な非単調な複数の過剰な行動の存在を証明した。 その結果,本質的なデータ次元を過度に推定することは,過度に推定するよりも有害であることが示唆された。
• 参考スコア（独自算出の注目度）: 34.21221751079377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been much interest in understanding the generalization behavior of interpolating predictors, which overfit on noisy training data. Whereas standard analyses are concerned with whether a method is consistent or not, recent observations have shown that even inconsistent predictors can generalize well. In this work, we revisit the classic interpolating Nadaraya-Watson (NW) estimator (also known as Shepard's method), and study its generalization capabilities through this modern viewpoint. In particular, by varying a single bandwidth-like hyperparameter, we prove the existence of multiple overfitting behaviors, ranging non-monotonically from catastrophic, through benign, to tempered. Our results highlight how even classical interpolating methods can exhibit intricate generalization behaviors. In addition, for the purpose of tuning the hyperparameter, the results suggest that over-estimating the intrinsic dimension of the data is less harmful than under-estimating it. Numerical experiments complement our theory, demonstrating the same phenomena.
• Abstract（参考訳）: 近年,ノイズの多い学習データに過度に適合する補間予測器の一般化行動を理解することには,多くの関心が寄せられている。 標準的な分析は、ある手法が一貫性があるかどうかに関係しているが、最近の観測では、一貫性のない予測器でさえうまく一般化できることが示されている。 本研究では,古典的補間型Nadaraya-Watson (NW) 推定器 (Shepard's method) を再検討し,その一般化能力について考察する。 特に、単一帯域幅のようなハイパーパラメータの変化により、破滅から良性に至るまで、単調な非単調なマルチオーバーフィッティング動作の存在が証明される。 本結果は,古典的補間手法でさえ,複雑な一般化挙動を示すことができることを示す。 また, 過度パラメータを調整するために, データの内在次元を過度に推定することは過度に推定するよりも有害であることが示唆された。 数値実験は我々の理論を補完し、同じ現象を示す。

関連論文リスト

• Enhancing Anomaly Detection Generalization through Knowledge Exposure: The Dual Effects of Augmentation [9.740752855568202]
  異常検出では、標準から逸脱し、頻繁に発生するデータセット内のインスタンスを識別する。 現在のベンチマークでは、実際のシナリオと一致しない通常のデータの多様性の低い方法を好む傾向にある。 本稿では,概念力学の理解に外部知識を統合した新しいテストプロトコルと知識公開(KE)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-15T12:37:36Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。