論文の概要: Kernel Ridgeless Regression is Inconsistent for Low Dimensions
- arxiv url: http://arxiv.org/abs/2205.13525v1
- Date: Thu, 26 May 2022 17:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 16:02:03.324230
- Title: Kernel Ridgeless Regression is Inconsistent for Low Dimensions
- Title(参考訳): カーネルリッジレス回帰は低次元では矛盾する
- Authors: Daniel Beaglehole, Mikhail Belkin, Parthe Pandit
- Abstract要約: 大規模なシフト不変カーネルのカーネルは、トレーニングセットに適応した帯域幅であっても、固定次元では不整合であることを示す。
- 参考スコア(独自算出の注目度): 16.704246627541103
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We show that kernel interpolation for a large class of shift-invariant
kernels is inconsistent in fixed dimension, even with bandwidth adaptive to the
training set.
- Abstract(参考訳): シフト不変カーネルの大規模クラスに対するカーネル補間は、トレーニングセットに適応した帯域幅であっても一定次元では一致しないことを示す。
関連論文リスト
- Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。
我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文 参考訳(メタデータ) (2024-10-29T00:01:04Z) - Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳(メタデータ) (2024-10-22T10:19:27Z) - Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality [33.900009202637285]
カーネルリッジレス回帰の最小ノルム補間解のオーバーフィッティング挙動を考察する。
固定次元の場合、帯域幅が変化したり調整されたりしても、リッジレス解は整合性がなく、少なくとも十分なノイズがあれば、常にヌル予測器よりも悪いことが示される。
論文 参考訳(メタデータ) (2024-09-05T19:58:58Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳(メタデータ) (2024-07-11T13:28:34Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳(メタデータ) (2021-04-13T13:56:50Z) - Adversarial Estimation of Riesz Representers [21.510036777607397]
一般関数空間を用いてRiesz表現子を推定する逆フレームワークを提案する。
臨界半径(Critical radius)と呼ばれる抽象的な量で非漸近平均平方レートを証明し、ニューラルネットワーク、ランダムな森林、カーネルヒルベルト空間を主要なケースとして再現する。
論文 参考訳(メタデータ) (2020-12-30T19:46:57Z) - Convex Nonparanormal Regression [8.497456090408084]
後部条件分布を推定する条件付き非正規回帰法であるConvex Nonparanormal Regression (CNR)を導入する。
ピースワイズ線形辞書の特殊だが強力な場合、後進平均の閉形式を提供する。
合成および実世界のデータを用いた古典的競合相手に対するCNRの利点を実証する。
論文 参考訳(メタデータ) (2020-04-21T19:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。