論文の概要: Approximation of Smoothness Classes by Deep Rectifier Networks

• arxiv url: http://arxiv.org/abs/2007.15645v2
• Date: Fri, 29 Oct 2021 14:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 15:09:03.590095
• Title: Approximation of Smoothness Classes by Deep Rectifier Networks
• Title（参考訳）: 深部整流回路網による滑らか度クラスの近似
• Authors: Mazen Ali and Anthony Nouy
• Abstract要約: 本研究では,ベソフ空間の関数に対する最適あるいは近似値に近づいた,一定の活性化関数を持つ警告ディープネットワークについて述べる。 理論を用いることで、臨界線上の滑らか度クラスの全範囲が(ほぼ)深いReLU/RePUネットワークによって最適に近似されることを意味する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider approximation rates of sparsely connected deep rectified linear unit (ReLU) and rectified power unit (RePU) neural networks for functions in Besov spaces $B^\alpha_{q}(L^p)$ in arbitrary dimension $d$, on general domains. We show that \alert{deep rectifier} networks with a fixed activation function attain optimal or near to optimal approximation rates for functions in the Besov space $B^\alpha_{\tau}(L^\tau)$ on the critical embedding line $1/\tau=\alpha/d+1/p$ for \emph{arbitrary} smoothness order $\alpha>0$. Using interpolation theory, this implies that the entire range of smoothness classes at or above the critical line is (near to) optimally approximated by deep ReLU/RePU networks.
• Abstract（参考訳）: 一般領域におけるベソフ空間の関数に対する疎結合深部整流線形ユニット(ReLU)および整流電力ユニット(RePU)ニューラルネットワークの任意の次元$d$での近似率について検討する。 固定活性化関数を持つ 'alert{deep rectifier} ネットワークがベソフ空間$B^\alpha_{\tau}(L^\tau)$ の関数に対する最適あるいは近似値に近づき、臨界埋め込みライン $1/\tau=\alpha/d+1/p$ が \emph{arbitrary} の滑らかさオーダー $\alpha>0$ に対して最適となることを示す。 補間理論を用いることで、臨界線あるいはその上の滑らか性クラスの全範囲が、深いReLU/RePUネットワークによって最適に近似されることを意味する。

関連論文リスト

• On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
  我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
  論文  参考訳（メタデータ） (2024-09-02T02:26:01Z)
• Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [4.096453902709292]
  我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。 例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
  論文  参考訳（メタデータ） (2024-08-20T16:43:45Z)
• Nearly Optimal Regret for Decentralized Online Convex Optimization [53.433398074919]
  分散オンライン凸最適化(D-OCO)は,局所計算と通信のみを用いて,グローバルな損失関数の列を最小化することを目的としている。 我々は凸関数と強い凸関数の残差をそれぞれ低減できる新しいD-OCOアルゴリズムを開発した。 我々のアルゴリズムは、$T$、$n$、$rho$の点でほぼ最適です。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• Optimal Approximation of Zonoids and Uniform Approximation by Shallow Neural Networks [2.7195102129095003]
  以下の2つの問題について検討する。 1つ目は、$mathbbRd+1$の任意のソノイドがハウスドルフ距離で$n$の線分で近似できる誤差を決定することである。 2つ目は、変動空間上の浅いReLU$k$ニューラルネットワークの均一ノルムにおける最適近似率を決定することである。
  論文  参考訳（メタデータ） (2023-07-28T03:43:17Z)
• ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
  本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。 我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-01T18:51:29Z)
• Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces [2.7195102129095003]
  ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。 この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
  論文  参考訳（メタデータ） (2022-11-25T23:32:26Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)
• Deep Network Approximation for Smooth Functions [9.305095040004156]
  幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。 我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
  論文  参考訳（メタデータ） (2020-01-09T15:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。