論文の概要: Efficient Algorithms for Learning Depth-2 Neural Networks with General ReLU Activations

• arxiv url: http://arxiv.org/abs/2107.10209v1
• Date: Wed, 21 Jul 2021 17:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 15:21:55.189176
• Title: Efficient Algorithms for Learning Depth-2 Neural Networks with General ReLU Activations
• Title（参考訳）: 一般ReLU活性化を用いた深度2ニューラルネットの学習アルゴリズム
• Authors: Pranjal Awasthi, Alex Tang, Aravindan Vijayaraghavan
• Abstract要約: 一般のReLUアクティベーションを用いた未知の深度2フィードフォワードニューラルネットワークを学習するための時間とサンプル効率のアルゴリズムを提案する。 特に、f(x) = amathsfTsigma(WmathsfTx+b)$, ここで$x$はガウス分布から引き出され、$sigma(t) := max(t,0)$はReLU活性化である。
• 参考スコア（独自算出の注目度）: 27.244958998196623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present polynomial time and sample efficient algorithms for learning an unknown depth-2 feedforward neural network with general ReLU activations, under mild non-degeneracy assumptions. In particular, we consider learning an unknown network of the form $f(x) = {a}^{\mathsf{T}}\sigma({W}^\mathsf{T}x+b)$, where $x$ is drawn from the Gaussian distribution, and $\sigma(t) := \max(t,0)$ is the ReLU activation. Prior works for learning networks with ReLU activations assume that the bias $b$ is zero. In order to deal with the presence of the bias terms, our proposed algorithm consists of robustly decomposing multiple higher order tensors arising from the Hermite expansion of the function $f(x)$. Using these ideas we also establish identifiability of the network parameters under minimal assumptions.
• Abstract（参考訳）: 一般のReLUアクティベーションを持つ未知の深さ2フィードフォワードニューラルネットワークを,軽度の非退化仮定の下で学習するための多項式時間とサンプル効率的なアルゴリズムを提案する。 特に、$x$ がガウス分布から引き出される$f(x) = {a}^{\mathsf{t}}\sigma({w}^\mathsf{t}x+b)$、$\sigma(t) := \max(t,0)$ という形の未知のネットワークを学習することを考える。 reluアクティベーションを持つ学習ネットワークに対する事前の作業は、バイアス$b$がゼロであると仮定する。 バイアス項の存在に対処するために,提案アルゴリズムは,関数 $f(x)$ のエルミート展開から生じる複数の高次テンソルをロバストに分解する。 これらの概念を用いて,ネットワークパラメータの最小仮定下での識別性を確立する。

関連論文リスト

• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Most Neural Networks Are Almost Learnable [52.40331776572531]
  固定された$epsilon>0$とdeep $i$に対して、深さ$i$のランダムなXavierネットワークを学習するポリ時間アルゴリズムが存在することを示す。 このアルゴリズムは時間とサンプルの複雑さが$(bard)mathrmpoly(epsilon-1)$であり、$bar d$はネットワークのサイズである。 シグモイドやReLU様の活性化の場合、境界は$(bard)mathrmpolylog(eps)に改善できる。
  論文  参考訳（メタデータ） (2023-05-25T22:27:42Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Efficiently Learning Any One Hidden Layer ReLU Network From Queries [27.428198343906352]
  ネットワークへのブラックボックスアクセスを提供するニューラルネットワークアクティベーションを任意の1つの隠蔽層で学習するアルゴリズムを初めて提供する。 最悪のネットワークであっても、完全時間で効率を保証できるのはこれが初めてです。
  論文  参考訳（メタデータ） (2021-11-08T18:59:40Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks [48.32532049640782]
  ガウス境界の下で, 1層ReLUネットワークを$k$の隠れ単位で学習する問題をmathbbRd$で研究する。 正の係数の場合、この学習問題の初回アルゴリズムを$k$から$tildeOOmega(sqrtlog d)$まで与える。
  論文  参考訳（メタデータ） (2020-06-22T17:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。