論文の概要: Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality

• arxiv url: http://arxiv.org/abs/2409.03891v1
• Date: Thu, 5 Sep 2024 19:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 17:30:22.584002
• Title: Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
• Title（参考訳）: Gassian Kernel Ridgeless Regressionの過度に適合する挙動:バンド幅または次元の変化
• Authors: Marko Medvedev, Gal Vardi, Nathan Srebro,
• Abstract要約: カーネルリッジレス回帰の最小ノルム補間解のオーバーフィッティング挙動を考察する。 固定次元の場合、帯域幅が変化したり調整されたりしても、リッジレス解は整合性がなく、少なくとも十分なノイズがあれば、常にヌル予測器よりも悪いことが示される。
• 参考スコア（独自算出の注目度）: 33.900009202637285
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We consider the overfitting behavior of minimum norm interpolating solutions of Gaussian kernel ridge regression (i.e. kernel ridgeless regression), when the bandwidth or input dimension varies with the sample size. For fixed dimensions, we show that even with varying or tuned bandwidth, the ridgeless solution is never consistent and, at least with large enough noise, always worse than the null predictor. For increasing dimension, we give a generic characterization of the overfitting behavior for any scaling of the dimension with sample size. We use this to provide the first example of benign overfitting using the Gaussian kernel with sub-polynomial scaling dimension. All our results are under the Gaussian universality ansatz and the (non-rigorous) risk predictions in terms of the kernel eigenstructure.
• Abstract（参考訳）: サンプルサイズによって帯域幅や入力寸法が変化する場合、最小ノルム補間解のガウス核リッジ回帰(カーネルリッジレス回帰)のオーバーフィッティング挙動を考察する。 固定次元の場合、帯域幅が変化したり調整されたりしても、リッジレス解は整合性がなく、少なくとも十分なノイズがあれば、常にヌル予測器よりも悪いことが示される。 次元を拡大するために、標本サイズを持つ任意の次元のスケーリングに対する過度に適合する挙動の一般的な特徴を与える。 これを用いて、ガウスカーネルとサブポリノミカルスケーリング次元を用いた良性オーバーフィッティングの最初の例を提供する。 すべての結果は、ガウス普遍性アンサッツと、核固有構造の観点からの(厳密でない)リスク予測の下にある。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• Wiener Chaos in Kernel Regression: Towards Untangling Aleatoric and Epistemic Uncertainty [0.0]
  我々はこの設定を一般化し、加法的、すなわち非ガウス計測ノイズによるカーネルリッジ回帰を考える。 GP後部分布に符号化された全不確実性から,データサンプルのノイズから生じる不確かさを識別できることを示す。
  論文  参考訳（メタデータ） (2023-12-12T16:02:35Z)
• On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions [16.704246627541103]
  翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。 この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
  論文  参考訳（メタデータ） (2022-05-26T17:43:20Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• How rotational invariance of common kernels prevents generalization in high dimensions [8.508198765617196]
  カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。 最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
  論文  参考訳（メタデータ） (2021-04-09T08:27:37Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck [14.309243378538012]
  本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。 一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
  論文  参考訳（メタデータ） (2020-04-23T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。