論文の概要: Exponential Expressivity of ReLU$^k$ Neural Networks on Gevrey Classes with Point Singularities
- arxiv url: http://arxiv.org/abs/2403.02035v2
- Date: Fri, 14 Jun 2024 14:02:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 18:52:34.244008
- Title: Exponential Expressivity of ReLU$^k$ Neural Networks on Gevrey Classes with Point Singularities
- Title（参考訳）: 点特異性をもつゲーブリー類におけるReLU$^k$ニューラルネットワークの指数表現性
- Authors: Joost A. A. Opschoor, Christoph Schwab,
- Abstract要約: ソボレフ空間における指数的エミュレーション率をニューロン数の観点から証明する。
形状規則的で単純なポリトープ領域の分割は$mathrmD$で、ニューロンの数と非ゼロパラメータの数は、有限要素空間の自由度数に比例する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyze deep Neural Network emulation rates of smooth functions with point singularities in bounded, polytopal domains $\mathrm{D} \subset \mathbb{R}^d$, $d=2,3$. We prove exponential emulation rates in Sobolev spaces in terms of the number of neurons and in terms of the number of nonzero coefficients for Gevrey-regular solution classes defined in terms of weighted Sobolev scales in $\mathrm{D}$, comprising the countably-normed spaces of I.M. Babu\v{s}ka and B.Q. Guo. As intermediate result, we prove that continuous, piecewise polynomial high order (``$p$-version'') finite elements with elementwise polynomial degree $p\in\mathbb{N}$ on arbitrary, regular, simplicial partitions of polyhedral domains $\mathrm{D} \subset \mathbb{R}^d$, $d\geq 2$ can be exactly emulated by neural networks combining ReLU and ReLU$^2$ activations. On shape-regular, simplicial partitions of polytopal domains $\mathrm{D}$, both the number of neurons and the number of nonzero parameters are proportional to the number of degrees of freedom of the finite element space, in particular for the $hp$-Finite Element Method of I.M. Babu\v{s}ka and B.Q. Guo.
- Abstract（参考訳）: 有界多面体領域の特異点を持つ滑らかな関数の深部ニューラルネットワークエミュレーション速度を解析し, 有界多面体領域$\mathrm{D} \subset \mathbb{R}^d$, $d=2,3$とする。
我々は、ニューロンの数と、I.M. Babu\v{s}ka と B.Q. Guo の数えきれないノルム空間からなる、重み付きソボレフスケールの項で定義されるGevrey-regular Solution classの非ゼロ係数の数で、ソボレフ空間における指数的エミュレーション率を証明した。
中間的な結果として、任意の正則な多面体領域の単純分割に対して、要素ワイド多項式次数$p\in\mathbb{N}$の連続的高次(``$p$-version'')有限元が、ReLUとReLU$^2$の活性化を組み合わせたニューラルネットワークによって正確にエミュレートできることが証明される。
多面体領域の形状規則的、simplicial partitions of polytopal domain $\mathrm{D}$ では、ニューロンの数と非ゼロパラメータの数は有限要素空間の自由度数に比例し、特に I.M. Babu\v{s}ka と B.Q. Guo の$hp$-Finite Element Method に対してである。
関連論文リスト
- Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Noncompact uniform universal approximation [0.0]
普遍近似定理は、(コンパクトでない)入力空間 $mathbbRn$ 上の一様収束に一般化される。
無限大で消えるすべての連続関数は、ニューラルネットワークによって一様に近似することができる。
論文 参考訳（メタデータ） (2023-08-07T08:54:21Z) - Quantum and classical low-degree learning via a dimension-free Remez
inequality [52.12931955662553]
ハイパーグリッド上の関数をポリトーラス上の高調波拡張に関連付ける新しい方法を示す。
巡回群 $exp(2pi i k/K)_k=1K$ の積に対して函数の上限が$f$であることを示す。
我々は最近、超キューブやキュービット上の観測可能な観測値の低次学習を、同様に効率的に行う方法として、EI22, CHP, VZ22を引用して、新しい空間に拡張した。
論文 参考訳（メタデータ） (2023-01-04T04:15:40Z) - On the Sample Complexity of Two-Layer Networks: Lipschitz vs.
Element-Wise Lipschitz Activation [20.70453775428433]
本研究では,異なるアクティベーション関数を用いた有界二層ニューラルネットワークのサンプル複雑性について検討する。
我々は、$sigma$ が要素ワイドであれば、$mathcalH$ のサンプルの複雑さは、幅の対数依存しか持たないことを証明する。
論文 参考訳（メタデータ） (2022-11-17T16:27:15Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Geometry of the Loss Landscape in Overparameterized Neural Networks:
Symmetries and Invariances [9.390008801320024]
それぞれに1つの余分なニューロンを加えると、以前の離散ミニマを1つの多様体に接続するのに十分であることを示す。
対称性によって誘導される臨界部分空間の数が、大域ミニマ多様体を構成するアフィン部分空間の数を支配していることを示す。
論文 参考訳（メタデータ） (2021-05-25T21:19:07Z) - Exponential ReLU Neural Network Approximation Rates for Point and Edge
Singularities [0.0]
ポリトープ領域の重み付け解析関数クラスに対して,安定なReLUニューラルネット(ReLU NN)を$H1(Omega)$で表現する。
指数近似速度は、直線面を持つリプシッツ多角形の空間次元$d = 2$、平面面を持つフィチェラ型多面体領域における空間次元$d=3$で表される。
論文 参考訳（メタデータ） (2020-10-23T07:44:32Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。