論文の概要: Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime

• arxiv url: http://arxiv.org/abs/2105.15004v1
• Date: Mon, 31 May 2021 14:39:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 22:53:11.516137
• Title: Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime
• Title（参考訳）: カーネル回帰における一般化誤差率--無騒音状態から無雑音状態へのクロスオーバー
• Authors: Hugo Cui, Bruno Loureiro, Florent Krzakala, Lenka Zdeborov\'a
• Abstract要約: 我々はKRR(Kernel Ridge Regression)をガウスの設計に基づいて検討する。 サンプルの複雑さが増大するにつれて、ノイズのない指数とノイズのない値との雑音環境における遷移の存在を示す。
• 参考スコア（独自算出の注目度）: 29.731516232010343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this manuscript we consider Kernel Ridge Regression (KRR) under the Gaussian design. Exponents for the decay of the excess generalization error of KRR have been reported in various works under the assumption of power-law decay of eigenvalues of the features co-variance. These decays were, however, provided for sizeably different setups, namely in the noiseless case with constant regularization and in the noisy optimally regularized case. Intermediary settings have been left substantially uncharted. In this work, we unify and extend this line of work, providing characterization of all regimes and excess error decay rates that can be observed in terms of the interplay of noise and regularization. In particular, we show the existence of a transition in the noisy setting between the noiseless exponents to its noisy values as the sample complexity is increased. Finally, we illustrate how this crossover can also be observed on real data sets.
• Abstract（参考訳）: この写本では、カーネルリッジ回帰(KRR)をガウスの設計に基づいて検討する。 KRRの過大な一般化誤差の減衰の指数は、特徴の固有値のパワー-ロー崩壊を仮定して様々な研究で報告されている。 しかし、これらの崩壊は、一定の正則化を伴うノイズのないケースと、ノイズが最適に正則化されたケースという、大きく異なるセットアップのために提供された。 中間設定は、ほとんどチャージされていない。 本研究では,ノイズと正規化の相互作用の観点から観察可能な,すべてのレジームと過大なエラー減衰率のキャラクタリゼーションを提供するため,この作業を統一し,拡張する。 特に,試料の複雑さが増大するにつれて,ノイズのない指数と雑音値とのノイズ設定における遷移の存在を示す。 最後に、このクロスオーバーが実際のデータセット上でどのように観測されるかを示す。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Revisiting Convergence of AdaGrad with Relaxed Assumptions [4.189643331553922]
  問題に対する AdaGrad の収束と運動量(特別の場合として AdaGrad をカバー)を再考する。 このモデルは、多くの実用的な応用において、サブソースを含む広い範囲のノイズを含む。
  論文  参考訳（メタデータ） (2024-02-21T13:24:14Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• The noise level in linear regression with dependent data [36.252641692809924]
  従属データ(beta$-mixing)を用いてランダム設計線形回帰の上限を導出する。 定値要因まで、我々の分析は中央極限定理によって予測される分散項を正しく復元する。
  論文  参考訳（メタデータ） (2023-05-18T17:55:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Global Convergence and Stability of Stochastic Gradient Descent [0.0]
  我々は,SGDがほぼ任意の非特異性および雑音モデルの下で定常点に収束することを示す。 我々は,SGDがグローバルな信頼の収束に関する様々な問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-04T19:00:50Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
  本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。 汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-28T11:07:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。