論文の概要: Neural Network Architecture Beyond Width and Depth
- arxiv url: http://arxiv.org/abs/2205.09459v1
- Date: Thu, 19 May 2022 10:29:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 12:36:03.456464
- Title: Neural Network Architecture Beyond Width and Depth
- Title(参考訳): 幅と深さを超えたニューラルネットワークアーキテクチャ
- Authors: Zuowei Shen, Haizhao Yang, Shijun Zhang
- Abstract要約: 本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。
三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
- 参考スコア(独自算出の注目度): 4.468952886990851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a new neural network architecture by introducing an
additional dimension called height beyond width and depth. Neural network
architectures with height, width, and depth as hyperparameters are called
three-dimensional architectures. It is shown that neural networks with
three-dimensional architectures are significantly more expressive than the ones
with two-dimensional architectures (those with only width and depth as
hyperparameters), e.g., standard fully connected networks. The new network
architecture is constructed recursively via a nested structure, and hence we
call a network with the new architecture nested network (NestNet). A NestNet of
height $s$ is built with each hidden neuron activated by a NestNet of height
$\le s-1$. When $s=1$, a NestNet degenerates to a standard network with a
two-dimensional architecture. It is proved by construction that height-$s$ ReLU
NestNets with $\mathcal{O}(n)$ parameters can approximate Lipschitz continuous
functions on $[0,1]^d$ with an error $\mathcal{O}(n^{-(s+1)/d})$, while the
optimal approximation error of standard ReLU networks with $\mathcal{O}(n)$
parameters is $\mathcal{O}(n^{-2/d})$. Furthermore, such a result is extended
to generic continuous functions on $[0,1]^d$ with the approximation error
characterized by the modulus of continuity. Finally, a numerical example is
provided to explore the advantages of the super approximation power of ReLU
NestNets.
- Abstract(参考訳): 本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。
ハイパーパラメータとして高さ、幅、深さを持つニューラルネットワークアーキテクチャを三次元アーキテクチャと呼ぶ。
三次元アーキテクチャを持つニューラルネットワークは、2次元アーキテクチャを持つもの(ハイパーパラメータとして幅と深さのみを持つもの)よりもはるかに表現力が高いことが示されている。
新しいネットワークアーキテクチャはネスト構造によって再帰的に構築されるので、我々は新しいアーキテクチャネストネットワーク(NestNet)をネットワークと呼ぶ。
高さ$s$のNestNetは、高さ$\le s-1$のNestNetによって起動される隠れニューロンで構築される。
s=1$ の場合、nestnet は2次元アーキテクチャを持つ標準ネットワークに縮退する。
height-$s$ relu nestnets with $\mathcal{o}(n)$ parameters can approximation lipschitz continuous functions on $[0,1]^d$ with a error $\mathcal{o}(n^{-(s+1)/d})$ しかし、$\mathcal{o}(n)$ parametersの標準reluネットワークの最適近似誤差は$\mathcal{o}(n^{-2/d})$である。
さらに、そのような結果は$[0,1]^d$上の一般連続関数に拡張され、近似誤差は連続性の係数によって特徴づけられる。
最後に、ReLU NestNetsの超近似パワーの利点を探求する数値的な例を示す。
関連論文リスト
- Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳(メタデータ) (2023-11-23T02:19:32Z) - Densely Connected $G$-invariant Deep Neural Networks with Signed
Permutation Representations [6.200483285433661]
有限群$G$,$G$-不変ディープニューラルネットワーク(G$-DNN)アーキテクチャをReLUアクティベーション付きで導入・検討する。
G$-DNNのプリアクティベーションは、Emphsigned permutation representations (signed perm-reps) of $G$で変換できる。
文献からReLUのアクティベーション関数にアクセスできるものよりも、より許容可能な$G$-DNNアーキテクチャが存在することを示す。
論文 参考訳(メタデータ) (2023-03-08T14:35:03Z) - On Enhancing Expressive Power via Compositions of Single Fixed-Size ReLU
Network [11.66117393949175]
1つの固定サイズReLUネットワークの繰り返し構成が驚くほどの表現力を示すことを示す。
この結果から, 動的系を経由した連続深度ネットワークは, 動的関数が時間非依存であっても, 膨大な近似能力を有することが明らかとなった。
論文 参考訳(メタデータ) (2023-01-29T04:12:58Z) - Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文 参考訳(メタデータ) (2022-09-23T04:03:50Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳(メタデータ) (2022-08-17T08:14:52Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳(メタデータ) (2022-06-02T19:45:10Z) - Theory of Deep Convolutional Neural Networks III: Approximating Radial
Functions [7.943024117353317]
我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。
ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
論文 参考訳(メタデータ) (2021-07-02T08:22:12Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - Function approximation by deep neural networks with parameters $\{0,\pm
\frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。
構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文 参考訳(メタデータ) (2021-03-15T19:10:02Z) - Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。
実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
論文 参考訳(メタデータ) (2020-07-23T00:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。