論文の概要: Optimal Approximation Rates and Metric Entropy of ReLU$^k$ and Cosine
Networks
- arxiv url: http://arxiv.org/abs/2101.12365v1
- Date: Fri, 29 Jan 2021 02:29:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 12:45:16.150429
- Title: Optimal Approximation Rates and Metric Entropy of ReLU$^k$ and Cosine
Networks
- Title（参考訳）: ReLU$^k$とコサインネットワークの最適近似速度と計量エントロピー
- Authors: Jonathan W. Siegel, Jinchao Xu
- Abstract要約: 対応する浅層ニューラルネットワークによって効率的に近似できる関数の最大のバナッハ空間は、集合 $pmsigma(omegacdot x + b)$ の閉凸包のゲージによってノルムが与えられる空間であることを示す。
これらのゲージ空間の単位球の$L2$-metricエントロピーの精度を確立し、その結果、浅いReLU$k$ネットワークに対する最適近似速度を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article addresses several fundamental issues associated with the
approximation theory of neural networks, including the characterization of
approximation spaces, the determination of the metric entropy of these spaces,
and approximation rates of neural networks. For any activation function
$\sigma$, we show that the largest Banach space of functions which can be
efficiently approximated by the corresponding shallow neural networks is the
space whose norm is given by the gauge of the closed convex hull of the set
$\{\pm\sigma(\omega\cdot x + b)\}$. We characterize this space for the ReLU$^k$
and cosine activation functions and, in particular, show that the resulting
gauge space is equivalent to the spectral Barron space if $\sigma=\cos$ and is
equivalent to the Barron space when $\sigma={\rm ReLU}$. Our main result
establishes the precise asymptotics of the $L^2$-metric entropy of the unit
ball of these guage spaces and, as a consequence, the optimal approximation
rates for shallow ReLU$^k$ networks. The sharpest previous results hold only in
the special case that $k=0$ and $d=2$, where the metric entropy has been
determined up to logarithmic factors. When $k > 0$ or $d > 2$, there is a
significant gap between the previous best upper and lower bounds. We close all
of these gaps and determine the precise asymptotics of the metric entropy for
all $k \geq 0$ and $d\geq 2$, including removing the logarithmic factors
previously mentioned. Finally, we use these results to quantify how much is
lost by Barron's spectral condition relative to the convex hull of
$\{\pm\sigma(\omega\cdot x + b)\}$ when $\sigma={\rm ReLU}^k$.
- Abstract（参考訳）: 本稿では、近似空間のキャラクタリゼーション、これらの空間の計量エントロピーの決定、ニューラルネットワークの近似率など、ニューラルネットワークの近似理論に関連するいくつかの基本的な問題に対処する。
任意の活性化関数 $\sigma$ に対して、対応する浅層ニューラルネットワークによって効率的に近似できる関数の最大のバナッハ空間は、集合 $\{\pm\sigma(\omega\cdot x + b)\} の閉凸包のゲージによってノルムが与えられる空間であることを示す。
この空間を ReLU$^k$ およびコサイン活性化関数に特徴づけ、特に、結果のゲージ空間が $\sigma=\cos$ のスペクトルバロン空間と等価であり、$\sigma={\rm ReLU}$ のときバロン空間と等価であることを示した。
我々の主な結果は、これらのグエージ空間の単位球の l^2$-metric entropy の正確な漸近性を確立し、その結果、浅い relu$^k$ ネットワークに対する最適近似レートを確立することである。
最も鋭い結果は、k=0$ と $d=2$ の特別な場合のみであり、計量エントロピーは対数因子によって決定されている。
k > 0$ または $d > 2$ の場合、前回の最高値と下限値の間には大きなギャップがある。
これらのギャップを全て閉じて、前述の対数的因子の除去を含むすべての$k \geq 0$と$d\geq 2$に対する計量エントロピーの正確な漸近性を決定する。
最後に、これらの結果を用いて、$\sigma={\rm ReLU}^k$ のとき、$\{\pm\sigma(\omega\cdot x + b)\}$ の凸船体に対してバロンのスペクトル条件がどれだけ失われるかを定量化する。
関連論文リスト
- Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における浅層ニューラルネットワーク分類器の一般化と最適化について検討する。
本研究は,入力データの完全分類が可能なモデルの性能解析に焦点をあてる。
論文 参考訳（メタデータ） (2023-02-18T05:06:15Z) - Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。
低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
論文 参考訳（メタデータ） (2023-02-13T22:51:07Z) - Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev
Spaces [0.0]
本稿では,パラメータ数の観点から,ReLUアクティベーション関数を持つディープニューラルネットワークがソボレフ空間の関数をどの程度効率的に近似できるかを考察する。
以上の結果から,深いReLUネットワークは古典的近似法よりも優れているが,これは符号化不可能なパラメータのコストがかかることが示唆された。
論文 参考訳（メタデータ） (2022-11-25T23:32:26Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Sampling from Log-Concave Distributions with Infinity-Distance
Guarantees and Applications to Differentially Private Optimization [33.38289436686841]
本稿では,dis distributionO(varepsilon)$close から$ infinity-distance に点を出力するアルゴリズムを提案する。
また、ディキンウォークの「ソフトパイ」バージョンも提示する。
論文 参考訳（メタデータ） (2021-11-07T13:44:50Z) - On quantitative Laplace-type convergence results for some exponential
probability measures, with two applications [2.9189409618561966]
密度 w.r.t ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd)
論文 参考訳（メタデータ） (2021-10-25T13:00:25Z) - Parameter-free Statistically Consistent Interpolation:
Dimension-independent Convergence Rates for Hilbert kernel regression [0.0]
最近提案された重み付き補間近接補間法 (wiNN) はこのクラスに属する。
プラグインの余剰リスクは 2|f(x)-1/2|1-1-varepsilon) sigma(x)((n))-frac2$ 以下の任意の$に対して、$f$ は回帰関数 $xmapstomathbbE[yx]$ であることを示す。
論文 参考訳（メタデータ） (2021-06-07T05:50:02Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳（メタデータ） (2021-03-02T06:53:44Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Streaming Complexity of SVMs [110.63976030971106]
本稿では,ストリーミングモデルにおけるバイアス正規化SVM問題を解く際の空間複雑性について検討する。
両方の問題に対して、$frac1lambdaepsilon$の次元に対して、$frac1lambdaepsilon$よりも空間的に小さいストリーミングアルゴリズムを得ることができることを示す。
論文 参考訳（メタデータ） (2020-07-07T17:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。