論文の概要: Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds

• arxiv url: http://arxiv.org/abs/2610.02253v1
• Date: Wed, 30 Sep 2026 19:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.016869
• Title: Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds
• Title（参考訳）: ドロップアウトニューラルネットワークの近似特性:ソボレフ速度と信頼境界
• Abstract要約: 定数深さとサイズ$widetilde O_n,d(p-9varepsilon-maxd/n,2 log (1/)$。 この構成は、有界な局所ワーク、成功した近似事象の局所化、およびマルチスケールのテイラー分解を組み合わせたものである。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The universal approximation property of dropout neural networks does not by itself describe the network size required for an accurate random realization. In this work, we study approximation of the unit ball of $W^{n,\infty}([0,1]^d)$ by ReLU networks whose edges are retained independently with probability $p$. The approximation error is measured uniformly over the input domain, and the guarantee holds with probability at least $1-δ$ for a single sampled network. We construct networks of constant depth and size $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$. The construction combines bounded local subnetworks, localization on a successful approximation event, and a multiscale Taylor decomposition. Conversely, Sobolev capacity imposes a lower bound on the number of surviving edges, while approximation of a fixed affine function requires an output-layer cost of order $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ at sufficiently high confidence. For fixed $p\in(0,1)$ and $δ<\min\{1/2,1-p\}$, the upper and lower bounds match in the accuracy exponent under a fixed or logarithmic depth budget. When $d\leq2n$, they also match in confidence up to logarithms of accuracy. We extend the lower bounds to $W^{n,r}$ targets with $L^s$ error, and distinguish this extension from the upper bound for $W^{n,\infty}$. The optimal retention dependence and logarithmic factors remain open.
• Abstract（参考訳）: ドロップアウトニューラルネットワークの普遍近似特性は、それ自体が正確なランダムな実現に必要なネットワークサイズを記述していない。 本研究では、確率$p$でエッジが独立に保持されているReLUネットワークによる$W^{n,\infty}([0,1]^d)$の単位球の近似について検討する。 近似誤差は入力領域上で均一に測定され、保証は1つのサンプリングされたネットワークに対して少なくとも1-δ$の確率で保持される。 定数深さとサイズ$\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$ のネットワークを構築する。 この構成は、有界な局所部分ネット、成功した近似事象の局所化、およびマルチスケールのテイラー分解を組み合わせたものである。 逆に、ソボレフの容量は残存するエッジの数に低い境界を課し、一方固定アフィン関数の近似は、十分に高い信頼性で次数$(1-p)/p)\varepsilon^{-2}\log(1/δ)$の出力層コストを必要とする。 固定された$p\in(0,1)$と$δ<\min\{1/2,1-p\}$の場合、上と下の境界は固定または対数深さの予算の下で精度指数で一致する。 d\leq2n$の場合には、精度の対数に対する信頼度も一致します。 我々は下限を$L^s$エラーで$W^{n,r}$ターゲットに拡張し、この拡張を$W^{n,\infty}$の上限から区別する。 最適保持依存性と対数的要因は依然としてオープンである。

関連論文リスト

• Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression [12.592251634771314]
  パラメータ等級は、両方の点において役割を定量化しなければならない別のリソースを提供する。 我々は1つの境界付き1ドルLipschitz Dyadic--Triangular Activationを用いて、一定の深さでシャープな幅-マグニチュードトレードオフを確立する。 これにより、単位パラメータ半径から固定ネットワークサイズまで、統計的に最適な選択の連続性が得られる。
  論文  参考訳（メタデータ） (2026-09-22T05:28:37Z)
• Error bounds in Sobolev norms for approximations with norm constrained ReLU neural networks [1.6265206020315703]
  We analyze how sobolev function in $Wn,p$ can be almostd by neural network with width $W$, depth $L$ and path norm bounded by $K$。 深層ネットワークの場合、幅$W$と深さ$L$が十分大きい場合、その近似値$mathcalO(K-(n-1)/(d+d/p+1))$が成り立つことを示し、滑らかさの制限を除去する。
  論文  参考訳（メタデータ） (2026-09-17T09:10:24Z)
• Generating Rectifiable Measures through Neural Networks [3.974852803981997]
  我々は、(可算)$m$-rectifiable measuresのクラスに対する普遍近似結果を得る。 我々はこの結果を数えきれない$m$-rectible measureに拡張し、このレートがなおもretifiability parameter $m$と等しいことを示す。
  論文  参考訳（メタデータ） (2024-12-06T15:10:04Z)
• On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
  我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
  論文  参考訳（メタデータ） (2024-09-02T02:26:01Z)
• Optimal and Efficient Algorithms for Decentralized Online Convex Optimization [51.00357162913229]
  分散オンライン凸最適化(D-OCO)は、局所計算と通信のみを用いて、グローバルな損失関数の列を最小化するように設計されている。 我々は,凸関数と強凸関数の残差を$tildeO(nrho-1/4sqrtT)$と$tildeO(nrho-1/2log T)$に削減できる新しいD-OCOアルゴリズムを開発した。 我々の分析によると、射影自由多様体は$O(nT3/4)$と$O(n)を達成できる。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Distributed Saddle-Point Problems Under Similarity [173.19083235638104]
  与えられたサブ最適度$epsilon0$は、$Omegabigのマスター/ワーカーネットワークで達成されることを示す。 次に,ネットワークの下位の型(ログオーバまで)に適合するアルゴリズムを提案する。 頑健なロジスティック回帰問題に対して提案アルゴリズムの有効性を評価する。
  論文  参考訳（メタデータ） (2021-07-22T14:25:16Z)
• Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry [69.24618367447101]
  対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。 損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
  論文  参考訳（メタデータ） (2021-03-02T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。