論文の概要: Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime

• arxiv url: http://arxiv.org/abs/2205.06798v1
• Date: Fri, 13 May 2022 17:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 14:14:22.286201
• Title: Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime
• Title（参考訳）: 核リッジ回帰の線形構造を超えた鋭い漸近性
• Authors: Hong Hu and Yue M. Lu
• Abstract要約: カーネルリッジ回帰(KRR)は、サンプルサイズ$n$と基礎となる次元$d$のスケーリング関係に決定的に依存する多相パターンを示す。 我々は、KRRの学習曲線が、異なるスケーリング体制における特定のバイアス分散トレードオフにより、繊細な「二重降下」挙動を持つことを示す。
• 参考スコア（独自算出の注目度）: 22.58196673815647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generalization performance of kernel ridge regression (KRR) exhibits a multi-phased pattern that crucially depends on the scaling relationship between the sample size $n$ and the underlying dimension $d$. This phenomenon is due to the fact that KRR sequentially learns functions of increasing complexity as the sample size increases; when $d^{k-1}\ll n\ll d^{k}$, only polynomials with degree less than $k$ are learned. In this paper, we present sharp asymptotic characterization of the performance of KRR at the critical transition regions with $n \asymp d^k$, for $k\in\mathbb{Z}^{+}$. Our asymptotic characterization provides a precise picture of the whole learning process and clarifies the impact of various parameters (including the choice of the kernel function) on the generalization performance. In particular, we show that the learning curves of KRR can have a delicate "double descent" behavior due to specific bias-variance trade-offs at different polynomial scaling regimes.
• Abstract（参考訳）: kernel ridge regression (krr) の一般化性能は、サンプルサイズ $n$ と基礎となる次元 $d$ とのスケーリング関係に大きく依存する多相パターンを示している。 この現象は、KRR がサンプルサイズが大きくなるにつれて、次々に複雑さを増す関数を学習するという事実によるもので、$d^{k-1}\ll n\ll d^{k}$ の場合、$k$ 未満の多項式のみが学習される。 本稿では, 臨界遷移領域におけるKRRの性能を, $n \asymp d^k$, for $k\in\mathbb{Z}^{+}$で急激な漸近的に評価する。 我々の漸近的特徴は、学習過程全体の正確な画像を提供し、一般化性能に対する様々なパラメータ(カーネル関数の選択を含む)の影響を明らかにする。 特に,krrの学習曲線は,異なる多項式スケーリング系における偏分散トレードオフにより,繊細な「二重降下」挙動を持つことが示された。

関連論文リスト

• A Comprehensive Analysis on the Learning Curve in Kernel Ridge Regression [6.749750044497731]
  本稿では,カーネルリッジ回帰(KRR)の学習曲線を最小限の仮定で総合的に研究する。 本稿では, スペクトル固有デカイ, 固有関数の特性, カーネルの滑らかさなど, カーネルのキー特性の役割を解析する。
  論文  参考訳（メタデータ） (2024-10-23T11:52:52Z)
• Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
  本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。 我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。 我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
  論文  参考訳（メタデータ） (2024-08-02T07:29:49Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Asymptotics of Random Feature Regression Beyond the Linear Scaling Regime [22.666759017118796]
  機械学習の最近の進歩は、トレーニングデータの近くにトレーニングされた過度にパラメータ化されたモデルを使用することによって達成されている。 モデル複雑性と一般化はパラメータ数$p$にどのように依存するか? 特に、RFRRは近似と一般化パワーの直感的なトレードオフを示す。
  論文  参考訳（メタデータ） (2024-03-13T00:59:25Z)
• Overparameterized random feature regression with nearly orthogonal data [21.97381518762387]
  本研究では,2層ニューラルネットワークによるランダム特徴リッジ回帰(RFRR)の非漸近挙動について検討した。 我々の結果は、ほぼ決定論的性質を示す様々なアクティベーション関数と入力データセットに対して成り立っている。
  論文  参考訳（メタデータ） (2022-11-11T09:16:25Z)
• Precise Learning Curves and Higher-Order Scaling Limits for Dot Product Kernel Regression [41.48538038768993]
  本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。 我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
  論文  参考訳（メタデータ） (2022-05-30T04:21:31Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。