論文の概要: Generalization Ability of Wide Residual Networks
- arxiv url: http://arxiv.org/abs/2305.18506v1
- Date: Mon, 29 May 2023 15:01:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 19:53:48.474067
- Title: Generalization Ability of Wide Residual Networks
- Title(参考訳): 広域残留ネットワークの一般化能力
- Authors: Jianfa Lai, Zixiong Yu, Songtao Tian, Qian Lin
- Abstract要約: 本稿では,ReLU アクティベーション関数を持つ $mathbbSd-1$ 上での広域残差ネットワークの一般化能力について検討する。
幅$mrightarrowinfty$のように、残余ネットワークカーネルは、残余ニューラルネットワークカーネル(RNTK)に均一に収束することを示す。
- 参考スコア(独自算出の注目度): 5.699259766376014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the generalization ability of the wide residual
network on $\mathbb{S}^{d-1}$ with the ReLU activation function. We first show
that as the width $m\rightarrow\infty$, the residual network kernel (RNK)
uniformly converges to the residual neural tangent kernel (RNTK). This uniform
convergence further guarantees that the generalization error of the residual
network converges to that of the kernel regression with respect to the RNTK. As
direct corollaries, we then show $i)$ the wide residual network with the early
stopping strategy can achieve the minimax rate provided that the target
regression function falls in the reproducing kernel Hilbert space (RKHS)
associated with the RNTK; $ii)$ the wide residual network can not generalize
well if it is trained till overfitting the data. We finally illustrate some
experiments to reconcile the contradiction between our theoretical result and
the widely observed ``benign overfitting phenomenon''
- Abstract(参考訳): 本稿では,ReLU 活性化関数を持つ $\mathbb{S}^{d-1}$ 上での広域残差ネットワークの一般化能力について検討する。
まず、幅$m\rightarrow\infty$として、残留ネットワークカーネル(RNK)が残留ニューラルネットワークカーネル(RNTK)に均一に収束することを示す。
この一様収束は、残差ネットワークの一般化誤差が RNTK に関するカーネル回帰の誤差に収束することをさらに保証する。
直接行程として、(i)$$ の初期停止戦略を持つワイド残差ネットワークは、RNTKに付随する再生カーネルヒルベルト空間(RKHS)にターゲット回帰関数が落ちても、最小値を達成することができる。
最終的に、我々の理論結果と広く観察された「良性過剰フィッティング現象」との矛盾を解消するいくつかの実験を示す。
関連論文リスト
- Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。
最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
論文 参考訳(メタデータ) (2024-10-08T16:54:23Z) - Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳(メタデータ) (2024-03-14T21:48:00Z) - Improve Generalization Ability of Deep Wide Residual Network with A
Suitable Scaling Factor [0.0]
例えば、$alpha$ が定数であれば、Residual Neural Kernel (RNTK) によって誘導される関数のクラスは、深さが無限大になるため、学習できないことを示す。
また, 深度$L$の増加とともに$alpha$の減少を許しても, 脱生現象は発生しうる, 驚くべき現象も強調する。
論文 参考訳(メタデータ) (2024-03-07T14:40:53Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。
単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。
より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
論文 参考訳(メタデータ) (2020-07-02T05:07:55Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳(メタデータ) (2020-06-22T14:31:37Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳(メタデータ) (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。