論文の概要: Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
- arxiv url: http://arxiv.org/abs/2007.04596v1
- Date: Thu, 9 Jul 2020 07:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 03:58:13.152276
- Title: Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
- Title（参考訳）: NTKを超える過パラメータ2層ReLUニューラルネットワークの学習
- Authors: Yuanzhi Li, Tengyu Ma, Hongyang R. Zhang
- Abstract要約: 2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
- 参考スコア（独自算出の注目度）: 58.5766737343951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the dynamic of gradient descent for learning a two-layer neural
network. We assume the input $x\in\mathbb{R}^d$ is drawn from a Gaussian
distribution and the label of $x$ satisfies $f^{\star}(x) =
a^{\top}|W^{\star}x|$, where $a\in\mathbb{R}^d$ is a nonnegative vector and
$W^{\star} \in\mathbb{R}^{d\times d}$ is an orthonormal matrix. We show that an
over-parametrized two-layer neural network with ReLU activation, trained by
gradient descent from random initialization, can provably learn the ground
truth network with population loss at most $o(1/d)$ in polynomial time with
polynomial samples. On the other hand, we prove that any kernel method,
including Neural Tangent Kernel, with a polynomial number of samples in $d$,
has population loss at least $\Omega(1 / d)$.
- Abstract（参考訳）: 2層ニューラルネットワークを学習する際の勾配降下のダイナミクスを考察する。
入力 $x\in\mathbb{R}^d$ はガウス分布から引き出され、$x$ satisfies $f^{\star}(x) = a^{\top}|W^{\star}x|$, ここで $a\in\mathbb{R}^d$ は非負ベクトル、$W^{\star} \in\mathbb{R}^{d\times d}$ は正則正規行列である。
ランダム初期化からの勾配降下によって学習されたrelu活性化を持つ超パラメータ2層ニューラルネットワークは、多項式サンプルを用いた多項式時間で最大$o(1/d)$の人口損失を持つ基底真理ネットワークを確実に学習できる。
一方、Neural Tangent Kernelを含むカーネル手法は、$d$の多項式数を持つ場合、少なくとも$\Omega(1 / d)$の人口減少があることを示す。
関連論文リスト
- Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Generalization Ability of Wide Neural Networks on $\mathbb{R}$ [8.508360765158326]
広い2層ReLUニューラルネットワークのmathbbR$上での一般化能力について検討した。
$i)$幅$mrightarrowinfty$のとき、ニューラルネットワークカーネル(NNK)がNTKに均一に収束すると、$ii)$$$$K_1$のRKHSに対する回帰の最小値が$n-2/3$;$iii)$ 広義のニューラルネットワークをトレーニングする際に早期停止戦略を採用する場合、$ivとなる。
論文 参考訳（メタデータ） (2023-02-12T15:07:27Z) - Neural Networks Efficiently Learn Low-Dimensional Representations with
SGD [22.703825902761405]
SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。
また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
論文 参考訳（メタデータ） (2022-09-29T15:29:10Z) - Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。
実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
論文 参考訳（メタデータ） (2022-06-30T09:24:02Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Learning (Very) Simple Generative Models Is Hard [45.13248517769758]
我々は,$mathbbRdtobbRd'$の出力座標が$mathrmpoly(d)$ニューロンを持つ一層ReLUネットワークである場合でも,リアルタイムアルゴリズムが問題を解決可能であることを示す。
我々の証明の鍵となる要素は、コンパクトに支持されたピースワイズ線形関数$f$をニューラルネットワークで束ねたスロープで構築することであり、$mathcalN(0,1)$のプッシュフォワードは$mathcalのすべての低度モーメントと一致する。
論文 参考訳（メタデータ） (2022-05-31T17:59:09Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - A Corrective View of Neural Networks: Representation, Memorization and
Learning [26.87238691716307]
我々はニューラルネットワーク近似の補正機構を開発する。
ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。
また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
論文 参考訳（メタデータ） (2020-02-01T20:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。