論文の概要: On the Expressive Power of Neural Networks

• arxiv url: http://arxiv.org/abs/2306.00145v1
• Date: Wed, 31 May 2023 19:36:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 19:49:40.584491
• Title: On the Expressive Power of Neural Networks
• Title（参考訳）: ニューラルネットワークの表現力について
• Authors: Jan Holstermann
• Abstract要約: 普遍近似定理は、多くのフォローアップ研究を引き起こした。 深い狭いReLU-networksではうまく近似できない幅の浅いReLU-networksはありますか? 私たちはこれらの質問に2つの表現力の枠組みで答えます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In 1989 George Cybenko proved in a landmark paper that wide shallow neural networks can approximate arbitrary continuous functions on a compact set. This universal approximation theorem sparked a lot of follow-up research. Shen, Yang and Zhang determined optimal approximation rates for ReLU-networks in $L^p$-norms with $p \in [1,\infty)$. Kidger and Lyons proved a universal approximation theorem for deep narrow ReLU-networks. Telgarsky gave an example of a deep narrow ReLU-network that cannot be approximated by a wide shallow ReLU-network unless it has exponentially many neurons. However, there are even more questions that still remain unresolved. Are there any wide shallow ReLU-networks that cannot be approximated well by deep narrow ReLU-networks? Is the universal approximation theorem still true for other norms like the Sobolev norm $W^{1,1}$? Do these results hold for activation functions other than ReLU? We will answer all of those questions and more with a framework of two expressive powers. The first one is well-known and counts the maximal number of linear regions of a function calculated by a ReLU-network. We will improve the best known bounds for this expressive power. The second one is entirely new.
• Abstract（参考訳）: 1989年、ジョージ・シベンコ(George Cybenko)はランドマーク論文で、広い浅いニューラルネットワークはコンパクト集合上の任意の連続関数を近似できることを示した。 この普遍近似定理は、多くのフォローアップ研究を引き起こした。 Shen, Yang, Zhang は、$L^p$-norms と $p \in [1,\infty)$ の ReLU-networks の最適近似速度を決定した。 Kidger と Lyons は深い ReLU-networks に対する普遍近似定理を証明した。 テルガルスキーは、指数的に多くのニューロンがない限り、広い浅いReLU-ネットワークでは近似できない深い狭いReLU-ネットワークの例を示した。 しかし、まだ未解決のままである疑問はさらに多い。 深い狭いReLU-networksではうまく近似できない幅の浅いReLU-networksはありますか? 普遍近似定理は、ソボレフノルム $W^{1,1}$ のような他のノルムに対してまだ真か? これらの結果は、relu以外のアクティベーション関数に留まっているか? 私たちはこれらの質問に2つの表現力の枠組みで答えます。 最初のものはよく知られており、ReLU-ネットワークによって計算された関数の線型領域の最大数を数えている。 我々はこの表現力の最もよく知られた限界を改善する。 2つ目は全く新しいものです。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [4.096453902709292]
  我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。 例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
  論文  参考訳（メタデータ） (2024-08-20T16:43:45Z)
• Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation [2.3020018305241337]
  本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。 ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
  論文  参考訳（メタデータ） (2023-12-27T09:11:14Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
  幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。 また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
  論文  参考訳（メタデータ） (2022-10-21T14:41:26Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)
• Global Convergence of Frank Wolfe on One Hidden Layer Networks [121.96696298666014]
  隠れた1つのニューラルネットワークをトレーニングする際、Frank Wolfeアルゴリズムに対してグローバル収束境界を導出する。 ReLUアクティベーション関数を用い、サンプルデータセット上のトラクタブルプレコンディショニング仮定の下では、解をインクリメンタルに形成する線形最小化オラクルを第2次コーンプログラムとして明示的に解くことができる。
  論文  参考訳（メタデータ） (2020-02-06T11:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。