論文の概要: ReLU Network Approximation in Terms of Intrinsic Parameters
- arxiv url: http://arxiv.org/abs/2111.07964v1
- Date: Mon, 15 Nov 2021 18:20:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 14:35:53.320025
- Title: ReLU Network Approximation in Terms of Intrinsic Parameters
- Title（参考訳）: 固有パラメータを用いたReLUネットワーク近似
- Authors: Zuowei Shen and Haizhao Yang and Shijun Zhang
- Abstract要約: 固有パラメータ数の観点からReLUネットワークの近似誤差について検討する。
我々は、3つの固有パラメータしか持たないReLUネットワークを設計し、任意の誤差でH"古い連続関数を近似する。
- 参考スコア（独自算出の注目度）: 5.37133760455631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the approximation error of ReLU networks in terms of the
number of intrinsic parameters (i.e., those depending on the target function
$f$). First, we prove by construction that, for any Lipschitz continuous
function $f$ on $[0,1]^d$ with a Lipschitz constant $\lambda>0$, a ReLU network
with $n+2$ intrinsic parameters can approximate $f$ with an exponentially small
error $5\lambda \sqrt{d}\,2^{-n}$ measured in the $L^p$-norm for $p\in
[1,\infty)$. More generally for an arbitrary continuous function $f$ on
$[0,1]^d$ with a modulus of continuity $\omega_f(\cdot)$, the approximation
error is $\omega_f(\sqrt{d}\, 2^{-n})+2^{-n+2}\omega_f(\sqrt{d})$. Next, we
extend these two results from the $L^p$-norm to the $L^\infty$-norm at a price
of $3^d n+2$ intrinsic parameters. Finally, by using a high-precision binary
representation and the bit extraction technique via a fixed ReLU network
independent of the target function, we design, theoretically, a ReLU network
with only three intrinsic parameters to approximate H\"older continuous
functions with an arbitrarily small error.
- Abstract（参考訳）: 本稿では,ReLUネットワークの固有パラメータ数(すなわち,対象関数の$f$に依存するパラメータ)の近似誤差について検討する。
まず、リプシッツ定数 $\lambda>0$ を持つ任意のリプシッツ連続関数 $f$ on $[0,1]^d$ に対して、n+2$ 固有パラメータを持つ relu ネットワークは、指数関数的に小さい誤差 5\lambda \sqrt{d}\,2^{-n}$ で$l^p$-norm で$p\in [1,\infty)$ で測定できる。
より一般に、任意の連続函数 $f$ on $[0,1]^d$ と連続性 $\omega_f(\cdot)$ に対して、近似誤差は$\omega_f(\sqrt{d}\, 2^{-n})+2^{-n+2}\omega_f(\sqrt{d})$である。
次に、これら2つの結果を$L^p$-normから$L^\infty$-normに3^d n+2$固有のパラメータで拡張する。
最後に、目標関数とは独立な固定reluネットワークによる高精度バイナリ表現とビット抽出技術を用いて、理論的には3つの固有パラメータしか持たないreluネットワークを任意に小さい誤差でh\"older連続関数を近似するように設計する。
関連論文リスト
- The Approximate Degree of DNF and CNF Formulas [95.94432031144716]
すべての$delta>0に対して、$はCNFと近似次数$Omega(n1-delta)の式を構築し、基本的には$nの自明な上限に一致する。
すべての$delta>0$に対して、これらのモデルは$Omega(n1-delta)$、$Omega(n/4kk2)1-delta$、$Omega(n/4kk2)1-delta$が必要です。
論文 参考訳（メタデータ） (2022-09-04T10:01:39Z) - Expressive power of binary and ternary neural networks [91.3755431537592]
3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
論文 参考訳（メタデータ） (2022-06-27T13:16:08Z) - Low-degree learning and the metric entropy of polynomials [49.1574468325115]
少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
論文 参考訳（メタデータ） (2022-03-17T23:52:08Z) - On minimal representations of shallow ReLU networks [0.0]
f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。
特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
論文 参考訳（メタデータ） (2021-08-12T10:22:24Z) - Neural networks with superexpressive activations and integer weights [91.3755431537592]
アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。
より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
論文 参考訳（メタデータ） (2021-05-20T17:29:08Z) - Deep Neural Networks with ReLU-Sine-Exponential Activations Break Curse
of Dimensionality on H\"older Class [6.476766717110237]
活性化関数としてReLU,sine,2x$のニューラルネットワークを構築した。
スーパー表現力に加えて、ReLU-sine-$2x$ネットワークで実装された関数は(一般化)微分可能である。
論文 参考訳（メタデータ） (2021-02-28T15:57:42Z) - Optimal Approximation Rate of ReLU Networks in terms of Width and Depth [5.37133760455631]
本稿では,深部フィードフォワードニューラルネットワークの幅と深さの近似力に着目した。
幅$mathcalObig(maxdlfloor N1/drfloor,, N+2big)$と深さ$mathcalO(L)$のReLUネットワークは、近似レート$mathcalObig(lambdasqrtd (N2L2ln)で$[0,1]d$のH"古い連続関数を近似できる。
論文 参考訳（メタデータ） (2021-02-28T13:15:55Z) - Neural Network Approximation: Three Hidden Layers Are Enough [4.468952886990851]
超近似パワーを有する3層ニューラルネットワークを導入する。
ネットワークはフロア関数(lfloor xrfloor$)、指数関数(2x$)、ステップ関数(1_xgeq 0$)、または各ニューロンの活性化関数としてのそれらの構成で構築される。
論文 参考訳（メタデータ） (2020-10-25T18:30:57Z) - Deep Network with Approximation Error Being Reciprocal of Width to Power
of Square Root of Depth [4.468952886990851]
超近似パワーを持つ新しいネットワークが導入された。
このネットワークは、各ニューロン内のFloor(lfloor xrfloor$)またはReLU(max0,x$)アクティベーション関数で構築されている。
論文 参考訳（メタデータ） (2020-06-22T13:27:33Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z) - On the Complexity of Minimizing Convex Finite Sums Without Using the
Indices of the Individual Functions [62.01594253618911]
有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。
同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
論文 参考訳（メタデータ） (2020-02-09T03:39:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。