論文の概要: On the Asymptotic Learning Curves of Kernel Ridge Regression under
Power-law Decay
- arxiv url: http://arxiv.org/abs/2309.13337v1
- Date: Sat, 23 Sep 2023 11:18:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 20:32:04.883807
- Title: On the Asymptotic Learning Curves of Kernel Ridge Regression under
Power-law Decay
- Title（参考訳）: 停電下におけるカーネルリッジ回帰の漸近学習曲線について
- Authors: Yicheng Li, Haobo Zhang, Qian Lin
- Abstract要約: ノイズレベルが小さい場合のみ、非常に広いニューラルネットワークに「良性オーバーフィッティング現象」が存在することを示す。
この現象は,ノイズレベルが小さい場合にのみ,非常に広いニューラルネットワークに存在することが示唆された。
- 参考スコア（独自算出の注目度）: 17.306230523610864
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The widely observed 'benign overfitting phenomenon' in the neural network
literature raises the challenge to the 'bias-variance trade-off' doctrine in
the statistical learning theory. Since the generalization ability of the 'lazy
trained' over-parametrized neural network can be well approximated by that of
the neural tangent kernel regression, the curve of the excess risk (namely, the
learning curve) of kernel ridge regression attracts increasing attention
recently. However, most recent arguments on the learning curve are heuristic
and are based on the 'Gaussian design' assumption. In this paper, under mild
and more realistic assumptions, we rigorously provide a full characterization
of the learning curve: elaborating the effect and the interplay of the choice
of the regularization parameter, the source condition and the noise. In
particular, our results suggest that the 'benign overfitting phenomenon' exists
in very wide neural networks only when the noise level is small.
- Abstract（参考訳）: ニューラルネットワーク文学において広く見られる「良性過剰適合現象」は、統計学習理論における「バイアス分散トレードオフ」理論への挑戦を引き起こす。
ニューラル・タンジェント・カーネル・レグレッション (neural tangent kernel regression) の一般化能力は, ニューラル・タンジェント・カーネル・レグレッション (neural tangent kernel regression) の一般化によりよく近似できるため, カーネルリッジ・レグレッション (kernel ridge regression) の過剰リスク(学習曲線) の曲線が近年注目されている。
しかし、学習曲線に関する最近の議論はヒューリスティックであり、「ガウス設計」の仮定に基づいている。
本稿では, より穏やかで現実的な仮定の下で, 正規化パラメータ, ソース条件, ノイズの選択に対する効果と相互作用について, 学習曲線の完全な特徴付けを行う。
特に,ノイズレベルが小さい場合のみ,非常に広いニューラルネットワークに「良性過剰フィッティング現象」が存在することが示唆された。
関連論文リスト
- Feedback Favors the Generalization of Neural ODEs [24.342023073252395]
本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。
フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
論文 参考訳（メタデータ） (2024-10-14T08:09:45Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Benign, Tempered, or Catastrophic: A Taxonomy of Overfitting [19.08269066145619]
ニューラルネットワークを含むいくつかの補間手法は、破滅的なテスト性能を損なうことなく、ノイズの多いトレーニングデータを適合させることができる。
ニューラルネットワークのような実際の補間手法は、良心的に適合しない、と我々は主張する。
論文 参考訳（メタデータ） (2022-07-14T00:23:01Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - The Neural Tangent Kernel in High Dimensions: Triple Descent and a
Multi-Scale Theory of Generalization [34.235007566913396]
現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。
この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。
本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
論文 参考訳（メタデータ） (2020-08-15T20:55:40Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - Spectral Bias and Task-Model Alignment Explain Generalization in Kernel
Regression and Infinitely Wide Neural Networks [17.188280334580195]
トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。
最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。
より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
論文 参考訳（メタデータ） (2020-06-23T17:53:11Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。