論文の概要: Deep Network with Approximation Error Being Reciprocal of Width to Power
of Square Root of Depth
- arxiv url: http://arxiv.org/abs/2006.12231v6
- Date: Tue, 27 Oct 2020 01:51:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 05:40:15.932879
- Title: Deep Network with Approximation Error Being Reciprocal of Width to Power
of Square Root of Depth
- Title（参考訳）: 深さの平方根のパワーと幅の相反する近似誤差を持つディープネットワーク
- Authors: Zuowei Shen and Haizhao Yang and Shijun Zhang
- Abstract要約: 超近似パワーを持つ新しいネットワークが導入された。
このネットワークは、各ニューロン内のFloor(lfloor xrfloor$)またはReLU(max0,x$)アクティベーション関数で構築されている。
- 参考スコア（独自算出の注目度）: 4.468952886990851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A new network with super approximation power is introduced. This network is
built with Floor ($\lfloor x\rfloor$) or ReLU ($\max\{0,x\}$) activation
function in each neuron and hence we call such networks Floor-ReLU networks.
For any hyper-parameters $N\in\mathbb{N}^+$ and $L\in\mathbb{N}^+$, it is shown
that Floor-ReLU networks with width $\max\{d,\, 5N+13\}$ and depth $64dL+3$ can
uniformly approximate a H\"older function $f$ on $[0,1]^d$ with an
approximation error $3\lambda d^{\alpha/2}N^{-\alpha\sqrt{L}}$, where $\alpha
\in(0,1]$ and $\lambda$ are the H\"older order and constant, respectively. More
generally for an arbitrary continuous function $f$ on $[0,1]^d$ with a modulus
of continuity $\omega_f(\cdot)$, the constructive approximation rate is
$\omega_f(\sqrt{d}\,N^{-\sqrt{L}})+2\omega_f(\sqrt{d}){N^{-\sqrt{L}}}$. As a
consequence, this new class of networks overcomes the curse of dimensionality
in approximation power when the variation of $\omega_f(r)$ as $r\to 0$ is
moderate (e.g., $\omega_f(r) \lesssim r^\alpha$ for H\"older continuous
functions), since the major term to be considered in our approximation rate is
essentially $\sqrt{d}$ times a function of $N$ and $L$ independent of $d$
within the modulus of continuity.
- Abstract（参考訳）: 超近似パワーを持つ新しいネットワークを導入する。
このネットワークは各ニューロンで floor (\lfloor x\rfloor$) または relu (\max\{0,x\}$) の活性化関数で構築されており、そのようなネットワークを floor-relu ネットワークと呼ぶ。
任意のハイパーパラメータ $n\in\mathbb{n}^+$ と $l\in\mathbb{n}^+$ に対して、幅が$\max\{d,\, 5n+13\}$ と深さが 64dl+3$ のフロアレイルネットワークは、それぞれ$[0,1]^d$ と近似誤差が 3\lambda d^{\alpha/2}n^{-\alpha\sqrt{l}}$, ここで $\alpha \in(0,1]$ と $\lambda$ はそれぞれ h\"older order and constant である。
より一般に、任意の連続関数 $f$ on $[0,1]^d$ と連続性 $\omega_f(\cdot)$ に対して、構成的近似レートは $\omega_f(\sqrt{d}\,n^{-\sqrt{l}})+2\omega_f(\sqrt{d}){n^{-\sqrt{l}}}$ である。
結果として、この新しいネットワークのクラスは、$\omega_f(r)$ as $r\to 0$ の変動が適度(例えば、$\omega_f(r) \lesssim r^\alpha$ for H\"older continuous function)であるとき、近似パワーにおける次元性の呪いを克服する。
関連論文リスト
- The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - $\ell_p$-Regression in the Arbitrary Partition Model of Communication [59.89387020011663]
コーディネータモデルにおける分散$ell_p$-regression問題のランダム化通信複雑性について考察する。
p = 2$、すなわち最小二乗回帰の場合、$tildeTheta(sd2 + sd/epsilon)$ bitsの最初の最適境界を与える。
p in (1,2)$ に対して、$tildeO(sd2/epsilon + sd/mathrmpoly(epsilon)$ upper bound を得る。
論文 参考訳（メタデータ） (2023-07-11T08:51:53Z) - The Approximate Degree of DNF and CNF Formulas [95.94432031144716]
すべての$delta>0に対して、$はCNFと近似次数$Omega(n1-delta)の式を構築し、基本的には$nの自明な上限に一致する。
すべての$delta>0$に対して、これらのモデルは$Omega(n1-delta)$、$Omega(n/4kk2)1-delta$、$Omega(n/4kk2)1-delta$が必要です。
論文 参考訳（メタデータ） (2022-09-04T10:01:39Z) - Expressive power of binary and ternary neural networks [91.3755431537592]
3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
論文 参考訳（メタデータ） (2022-06-27T13:16:08Z) - ReLU Network Approximation in Terms of Intrinsic Parameters [5.37133760455631]
固有パラメータ数の観点からReLUネットワークの近似誤差について検討する。
我々は、3つの固有パラメータしか持たないReLUネットワークを設計し、任意の誤差でH"古い連続関数を近似する。
論文 参考訳（メタデータ） (2021-11-15T18:20:38Z) - Neural networks with superexpressive activations and integer weights [91.3755431537592]
アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。
より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
論文 参考訳（メタデータ） (2021-05-20T17:29:08Z) - Deep Neural Networks with ReLU-Sine-Exponential Activations Break Curse
of Dimensionality on H\"older Class [6.476766717110237]
活性化関数としてReLU,sine,2x$のニューラルネットワークを構築した。
スーパー表現力に加えて、ReLU-sine-$2x$ネットワークで実装された関数は(一般化)微分可能である。
論文 参考訳（メタデータ） (2021-02-28T15:57:42Z) - Optimal Approximation Rate of ReLU Networks in terms of Width and Depth [5.37133760455631]
本稿では,深部フィードフォワードニューラルネットワークの幅と深さの近似力に着目した。
幅$mathcalObig(maxdlfloor N1/drfloor,, N+2big)$と深さ$mathcalO(L)$のReLUネットワークは、近似レート$mathcalObig(lambdasqrtd (N2L2ln)で$[0,1]d$のH"古い連続関数を近似できる。
論文 参考訳（メタデータ） (2021-02-28T13:15:55Z) - Neural Network Approximation: Three Hidden Layers Are Enough [4.468952886990851]
超近似パワーを有する3層ニューラルネットワークを導入する。
ネットワークはフロア関数(lfloor xrfloor$)、指数関数(2x$)、ステップ関数(1_xgeq 0$)、または各ニューロンの活性化関数としてのそれらの構成で構築される。
論文 参考訳（メタデータ） (2020-10-25T18:30:57Z) - On the Complexity of Minimizing Convex Finite Sums Without Using the
Indices of the Individual Functions [62.01594253618911]
有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。
同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
論文 参考訳（メタデータ） (2020-02-09T03:39:46Z) - Deep Network Approximation for Smooth Functions [9.305095040004156]
幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。
我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
論文 参考訳（メタデータ） (2020-01-09T15:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。