論文の概要: Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and
Besov Spaces
- arxiv url: http://arxiv.org/abs/2211.14400v5
- Date: Mon, 27 Nov 2023 17:13:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 17:17:56.158845
- Title: Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and
Besov Spaces
- Title(参考訳): ソボレフおよびベソフ空間上の深部ReLUニューラルネットワークの最適近似速度
- Authors: Jonathan W. Siegel
- Abstract要約: ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。
この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
- 参考スコア(独自算出の注目度): 2.7195102129095003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Let $\Omega = [0,1]^d$ be the unit cube in $\mathbb{R}^d$. We study the
problem of how efficiently, in terms of the number of parameters, deep neural
networks with the ReLU activation function can approximate functions in the
Sobolev spaces $W^s(L_q(\Omega))$ and Besov spaces $B^s_r(L_q(\Omega))$, with
error measured in the $L_p(\Omega)$ norm. This problem is important when
studying the application of neural networks in a variety of fields, including
scientific computing and signal processing, and has previously been solved only
when $p=q=\infty$. Our contribution is to provide a complete solution for all
$1\leq p,q\leq \infty$ and $s > 0$ for which the corresponding Sobolev or Besov
space compactly embeds into $L_p$. The key technical tool is a novel
bit-extraction technique which gives an optimal encoding of sparse vectors.
This enables us to obtain sharp upper bounds in the non-linear regime where $p
> q$. We also provide a novel method for deriving $L_p$-approximation lower
bounds based upon VC-dimension when $p < \infty$. Our results show that very
deep ReLU networks significantly outperform classical methods of approximation
in terms of the number of parameters, but that this comes at the cost of
parameters which are not encodable.
- Abstract(参考訳): \omega = [0,1]^d$ を$\mathbb{r}^d$ の単位立方体とする。
パラメータ数の観点からは、ReLUアクティベーション関数を持つディープニューラルネットワークがソボレフ空間$W^s(L_q(\Omega))$とBesov空間$B^s_r(L_q(\Omega))$の関数に近似し、誤りを$L_p(\Omega)$のノルムで測定する。
この問題は、科学計算や信号処理を含む様々な分野におけるニューラルネットワークの応用を研究する際に重要であり、以前は$p=q=infty$であった。
我々の貢献は、対応するソボレフ空間やベッソフ空間がコンパクトに $l_p$ に埋め込み、すべての 1\leq p,q\leq \infty$ と $s > 0$ に対する完全な解を提供することです。
鍵となる技術ツールは、スパースベクトルを最適に符号化する新しいビット抽出技術である。
これにより、$p > q$ の非線形状態において鋭い上限を得ることができる。
また,$p < \infty$ の場合,vc-dimension に基づいて$l_p$-approximation 下限を導出する新しい方法を提案する。
以上の結果から,非常に深いReLUネットワークは,パラメータ数の観点から古典的近似法を著しく上回っているが,これはエンコード不可能なパラメータのコストが原因であることがわかった。
関連論文リスト
- Nearly Optimal Regret for Decentralized Online Convex Optimization [58.372148767703955]
分散オンライン凸最適化(D-OCO)は,局所計算と通信のみを用いて,グローバルな損失関数の列を最小化することを目的としている。
我々は凸関数と強い凸関数の残差をそれぞれ低減できる新しいD-OCOアルゴリズムを開発した。
我々のアルゴリズムは、$T$、$n$、$rho$の点でほぼ最適です。
論文 参考訳(メタデータ) (2024-02-14T13:44:16Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳(メタデータ) (2023-02-18T05:06:15Z) - Sharp Lower Bounds on Interpolation by Deep ReLU Neural Networks at
Irregularly Spaced Data [2.7195102129095003]
Deep ReLUニューラルネットワークは、距離$delta$で区切られた$N$のデータポイントで値を補間することができる。
我々は$Omega(N)$パラメータが、$delta$が$N$で指数関数的に小さい状態において必要であることを示す。
アプリケーションとして、埋め込みエンドポイントにおけるソボレフ空間に対して、深いReLUニューラルネットワークが達成できる近似率に、低いバウンダリを与える。
論文 参考訳(メタデータ) (2023-02-02T02:46:20Z) - Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文 参考訳(メタデータ) (2022-09-23T04:03:50Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳(メタデータ) (2022-09-15T15:42:47Z) - Optimal Regret Algorithm for Pseudo-1d Bandit Convex Optimization [51.23789922123412]
我々は,バンディットフィードバックを用いてオンライン学習を学習する。
learnerは、コスト/リワード関数が"pseudo-1d"構造を許可するゼロ次オラクルのみにアクセスできる。
我々は、$T$がラウンドの数である任意のアルゴリズムの後悔のために$min(sqrtdT、T3/4)$の下限を示しています。
ランダム化オンライングラデーション下降とカーネル化指数重み法を組み合わせた新しいアルゴリズムsbcalgを提案し,疑似-1d構造を効果的に活用する。
論文 参考訳(メタデータ) (2021-02-15T08:16:51Z) - Optimal Approximation Rates and Metric Entropy of ReLU$^k$ and Cosine
Networks [0.0]
対応する浅層ニューラルネットワークによって効率的に近似できる関数の最大のバナッハ空間は、集合 $pmsigma(omegacdot x + b)$ の閉凸包のゲージによってノルムが与えられる空間であることを示す。
これらのゲージ空間の単位球の$L2$-metricエントロピーの精度を確立し、その結果、浅いReLU$k$ネットワークに対する最適近似速度を導出する。
論文 参考訳(メタデータ) (2021-01-29T02:29:48Z) - Near-Optimal Regret Bounds for Contextual Combinatorial Semi-Bandits
with Linear Payoff Functions [53.77572276969548]
我々は、C$2$UCBアルゴリズムが分割マトロイド制約に対して最適な後悔結合$tildeO(dsqrtkT + dk)$を有することを示した。
一般的な制約に対して,C$2$UCBアルゴリズムで腕の報酬推定値を変更するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-20T04:29:18Z) - Streaming Complexity of SVMs [110.63976030971106]
本稿では,ストリーミングモデルにおけるバイアス正規化SVM問題を解く際の空間複雑性について検討する。
両方の問題に対して、$frac1lambdaepsilon$の次元に対して、$frac1lambdaepsilon$よりも空間的に小さいストリーミングアルゴリズムを得ることができることを示す。
論文 参考訳(メタデータ) (2020-07-07T17:10:00Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳(メタデータ) (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。