論文の概要: On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions
- arxiv url: http://arxiv.org/abs/2205.13525v3
- Date: Wed, 12 Apr 2023 22:14:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 20:42:08.663551
- Title: On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions
- Title(参考訳): 固定次元におけるカーネルリッジレス回帰の不整合について
- Authors: Daniel Beaglehole, Mikhail Belkin, Parthe Pandit
- Abstract要約: 翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。
この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
- 参考スコア(独自算出の注目度): 16.704246627541103
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: ``Benign overfitting'', the ability of certain algorithms to interpolate
noisy training data and yet perform well out-of-sample, has been a topic of
considerable recent interest. We show, using a fixed design setup, that an
important class of predictors, kernel machines with translation-invariant
kernels, does not exhibit benign overfitting in fixed dimensions. In
particular, the estimated predictor does not converge to the ground truth with
increasing sample size, for any non-zero regression function and any (even
adaptive) bandwidth selection. To prove these results, we give exact
expressions for the generalization error, and its decomposition in terms of an
approximation error and an estimation error that elicits a trade-off based on
the selection of the kernel bandwidth. Our results apply to commonly used
translation-invariant kernels such as Gaussian, Laplace, and Cauchy.
- Abstract(参考訳): ``benign overfitting''は、ノイズの多いトレーニングデータを補間するアルゴリズムの能力だが、サンプル外ではうまく機能する能力であり、近年は大きな関心を集めている。
固定設計設定を用いることで、トランスレーション不変カーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元において良質なオーバーフィットを示さないことを示す。
特に、推定された予測器は、非零回帰関数と任意の(適応的な)帯域選択に対して、サンプルサイズを増加させて基底真理に収束しない。
これらの結果を証明するために、カーネル帯域幅の選択に基づいてトレードオフを誘発する近似誤差と推定誤差という観点から、一般化誤差とその分解の正確な式を与える。
この結果は、gaussian、laplace、cauchyなど、一般的に使われる翻訳不変カーネルに適用できる。
関連論文リスト
- Implicit Manifold Gaussian Process Regression [49.0787777751317]
ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。
これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。
本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
論文 参考訳(メタデータ) (2023-10-30T09:52:48Z) - GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳(メタデータ) (2023-07-05T22:04:38Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Mind the spikes: Benign overfitting of kernels and neural networks in
fixed dimension [14.194212772887697]
推定器の滑らかさは次元ではなく、過度に適合する鍵であることが示される。
我々はその結果を広いニューラルネットワークに翻訳する。
我々の実験は、そのようなニューラルネットワークが過度に適合しているにもかかわらず、低次元のデータセットでも十分に一般化可能であることを検証した。
論文 参考訳(メタデータ) (2023-05-23T13:56:29Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳(メタデータ) (2022-05-26T20:56:25Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳(メタデータ) (2021-04-13T13:56:50Z) - Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文 参考訳(メタデータ) (2020-06-30T13:00:16Z) - Convex Nonparanormal Regression [8.497456090408084]
後部条件分布を推定する条件付き非正規回帰法であるConvex Nonparanormal Regression (CNR)を導入する。
ピースワイズ線形辞書の特殊だが強力な場合、後進平均の閉形式を提供する。
合成および実世界のデータを用いた古典的競合相手に対するCNRの利点を実証する。
論文 参考訳(メタデータ) (2020-04-21T19:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。