論文の概要: Kernel regression in high dimensions: Refined analysis beyond double
descent
- arxiv url: http://arxiv.org/abs/2010.02681v2
- Date: Wed, 24 Feb 2021 01:49:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:55:29.452493
- Title: Kernel regression in high dimensions: Refined analysis beyond double
descent
- Title（参考訳）: 高次元におけるカーネルレグレッション:二重降下を超える精製解析
- Authors: Fanghui Liu, Zhenyu Liao, and Johan A.K. Suykens
- Abstract要約: バイアスは(ほとんど) d から独立であり、n で単調に減少するが、分散は n, d に依存し、異なる正則化スキームの下では単調または単調に減少できることを示す。
我々の洗練された解析は、データ固有値と正規化のレベルによって、核回帰リスク曲線はn の双発的、ベル型、あるいは単調な関数であることを示すことによって、二重降下理論を越えている。
- 参考スコア（独自算出の注目度）: 21.15702374555439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we provide a precise characterization of generalization
properties of high dimensional kernel ridge regression across the under- and
over-parameterized regimes, depending on whether the number of training data n
exceeds the feature dimension d. By establishing a bias-variance decomposition
of the expected excess risk, we show that, while the bias is (almost)
independent of d and monotonically decreases with n, the variance depends on n,
d and can be unimodal or monotonically decreasing under different
regularization schemes. Our refined analysis goes beyond the double descent
theory by showing that, depending on the data eigen-profile and the level of
regularization, the kernel regression risk curve can be a double-descent-like,
bell-shaped, or monotonic function of n. Experiments on synthetic and real data
are conducted to support our theoretical findings.
- Abstract（参考訳）: 本稿では,n のトレーニングデータ数が特徴次元 d を超えるか否かに応じて,下限および過度パラメータ化された状態における高次元カーネルリッジ回帰の一般化特性を正確に評価する。
予測余剰リスクのバイアス分散分解を確立することにより、バイアスが(ほとんど) d から独立であり、n で単調に減少する一方で、分散は n, d に依存し、異なる正規化スキームの下で単調または単調に減少することを示す。
我々の洗練された解析は、データ固有値と正規化のレベルによって、核回帰リスク曲線はn の双発的、ベル型、あるいは単調関数であることを示すことによって、二重降下理論を越えている。
合成データと実データに関する実験を行い,理論的な知見を裏付ける。
関連論文リスト
- High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。
バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。
偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
論文 参考訳（メタデータ） (2024-06-05T12:03:27Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Error Bounds of the Invariant Statistics in Machine Learning of Ergodic
It\^o Diffusions [8.627408356707525]
エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。
ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
論文 参考訳（メタデータ） (2021-05-21T02:55:59Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。