論文の概要: Nonclosedness of Sets of Neural Networks in Sobolev Spaces
- arxiv url: http://arxiv.org/abs/2007.11730v4
- Date: Wed, 27 Jan 2021 20:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 11:55:30.583570
- Title: Nonclosedness of Sets of Neural Networks in Sobolev Spaces
- Title（参考訳）: ソボレフ空間におけるニューラルネットワークの集合の非閉性
- Authors: Scott Mahan, Emily King, Alex Cloninger
- Abstract要約: 実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。
実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine the closedness of sets of realized neural networks of a fixed
architecture in Sobolev spaces. For an exactly $m$-times differentiable
activation function $\rho$, we construct a sequence of neural networks
$(\Phi_n)_{n \in \mathbb{N}}$ whose realizations converge in order-$(m-1)$
Sobolev norm to a function that cannot be realized exactly by a neural network.
Thus, sets of realized neural networks are not closed in order-$(m-1)$ Sobolev
spaces $W^{m-1,p}$ for $p \in [1,\infty]$. We further show that these sets are
not closed in $W^{m,p}$ under slightly stronger conditions on the $m$-th
derivative of $\rho$. For a real analytic activation function, we show that
sets of realized neural networks are not closed in $W^{k,p}$ for any $k \in
\mathbb{N}$. The nonclosedness allows for approximation of non-network target
functions with unbounded parameter growth. We partially characterize the rate
of parameter growth for most activation functions by showing that a specific
sequence of realized neural networks can approximate the activation function's
derivative with weights increasing inversely proportional to the $L^p$
approximation error. Finally, we present experimental results showing that
networks are capable of closely approximating non-network target functions with
increasing parameters via training.
- Abstract（参考訳）: ソボレフ空間における固定アーキテクチャのニューラルネットワークの集合の閉性について検討する。
正確には$m$-times 微分可能アクティベーション関数 $\rho$ に対して、ニューラルネットワークによって正確には実現できない関数に対して実数を-$(m-1)$ sobolevノルムに収束する一連のニューラルネットワークを構築する。
したがって、実現されたニューラルネットワークの集合は順序で閉じない--$(m-1)$ソボレフ空間$W^{m-1,p}$ for $p \in [1,\infty]$。
さらに、これらの集合は$w^{m,p}$ で閉じていないことが、$\rho$ の$m$-th 導関数のやや強い条件下で示される。
実解析的活性化関数の場合、実現されたニューラルネットワークの集合は、任意の$k \in \mathbb{n}$に対して$w^{k,p}$で閉じない。
非閉性は、非有界パラメータ成長を伴う非ネットワーク対象関数の近似を可能にする。
ニューラルネットワークの特定のシーケンスが、l^p$近似誤差に逆比例する重みを増加させて、活性化関数の導関数を近似できることを示すことにより、ほとんどの活性化関数のパラメータ成長速度を部分的に特徴付ける。
最後に,ネットワークがトレーニングによってパラメータを増大させることで,非ネットワーク対象関数を密接に近似できることを示す実験結果を示す。
関連論文リスト
- Optimal Neural Network Approximation for High-Dimensional Continuous Functions [5.748690310135373]
我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$固有のニューロンを必要とする連続関数の族を示す。
これは、$mathcalO(d)$内在ニューロンの要求が、入力次元$d$と線形に成長するという意味で最適であることを示している。
論文 参考訳（メタデータ） (2024-09-04T01:18:55Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文 参考訳（メタデータ） (2022-09-23T04:03:50Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed
Number of Neurons [5.37133760455631]
一定数のニューロンを持つ全ての連続関数に対する普遍近似特性を実現するフィードフォワードニューラルネットワークを開発した。
例えば、$sigma$-activated networks with width $36d(2d+1)$ and depth $111$ can almost any continuous function on a $d$-dimensioanl hypercube in an arbitrarilyly small error。
論文 参考訳（メタデータ） (2021-07-06T05:24:30Z) - Neural networks with superexpressive activations and integer weights [91.3755431537592]
アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。
より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
論文 参考訳（メタデータ） (2021-05-20T17:29:08Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Function approximation by deep neural networks with parameters $\{0,\pm
\frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。
構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文 参考訳（メタデータ） (2021-03-15T19:10:02Z) - Approximating smooth functions by deep neural networks with sigmoid
activation function [0.0]
我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。
固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
論文 参考訳（メタデータ） (2020-10-08T07:29:31Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。