論文の概要: On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions

• arxiv url: http://arxiv.org/abs/2205.13525v3
• Date: Wed, 12 Apr 2023 22:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 20:42:08.663551
• Title: On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions
• Title（参考訳）: 固定次元におけるカーネルリッジレス回帰の不整合について
• Authors: Daniel Beaglehole, Mikhail Belkin, Parthe Pandit
• Abstract要約: 翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。 この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
• 参考スコア（独自算出の注目度）: 16.704246627541103
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: ``Benign overfitting'', the ability of certain algorithms to interpolate noisy training data and yet perform well out-of-sample, has been a topic of considerable recent interest. We show, using a fixed design setup, that an important class of predictors, kernel machines with translation-invariant kernels, does not exhibit benign overfitting in fixed dimensions. In particular, the estimated predictor does not converge to the ground truth with increasing sample size, for any non-zero regression function and any (even adaptive) bandwidth selection. To prove these results, we give exact expressions for the generalization error, and its decomposition in terms of an approximation error and an estimation error that elicits a trade-off based on the selection of the kernel bandwidth. Our results apply to commonly used translation-invariant kernels such as Gaussian, Laplace, and Cauchy.
• Abstract（参考訳）: ``benign overfitting''は、ノイズの多いトレーニングデータを補間するアルゴリズムの能力だが、サンプル外ではうまく機能する能力であり、近年は大きな関心を集めている。 固定設計設定を用いることで、トランスレーション不変カーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元において良質なオーバーフィットを示さないことを示す。 特に、推定された予測器は、非零回帰関数と任意の(適応的な)帯域選択に対して、サンプルサイズを増加させて基底真理に収束しない。 これらの結果を証明するために、カーネル帯域幅の選択に基づいてトレードオフを誘発する近似誤差と推定誤差という観点から、一般化誤差とその分解の正確な式を与える。 この結果は、gaussian、laplace、cauchyなど、一般的に使われる翻訳不変カーネルに適用できる。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality [33.900009202637285]
  カーネルリッジレス回帰の最小ノルム補間解のオーバーフィッティング挙動を考察する。 固定次元の場合、帯域幅が変化したり調整されたりしても、リッジレス解は整合性がなく、少なくとも十分なノイズがあれば、常にヌル予測器よりも悪いことが示される。
  論文  参考訳（メタデータ） (2024-09-05T19:58:58Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels [26.57122949130266]
  本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
  論文  参考訳（メタデータ） (2021-04-13T13:56:50Z)
• Adversarial Estimation of Riesz Representers [21.510036777607397]
  一般関数空間を用いてRiesz表現子を推定する逆フレームワークを提案する。 臨界半径(Critical radius)と呼ばれる抽象的な量で非漸近平均平方レートを証明し、ニューラルネットワーク、ランダムな森林、カーネルヒルベルト空間を主要なケースとして再現する。
  論文  参考訳（メタデータ） (2020-12-30T19:46:57Z)
• Convex Nonparanormal Regression [8.497456090408084]
  後部条件分布を推定する条件付き非正規回帰法であるConvex Nonparanormal Regression (CNR)を導入する。 ピースワイズ線形辞書の特殊だが強力な場合、後進平均の閉形式を提供する。 合成および実世界のデータを用いた古典的競合相手に対するCNRの利点を実証する。
  論文  参考訳（メタデータ） (2020-04-21T19:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。