論文の概要: Exponential ReLU Neural Network Approximation Rates for Point and Edge
Singularities
- arxiv url: http://arxiv.org/abs/2010.12217v1
- Date: Fri, 23 Oct 2020 07:44:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 00:21:22.343353
- Title: Exponential ReLU Neural Network Approximation Rates for Point and Edge
Singularities
- Title（参考訳）: 点特異性と端特異性に対する指数ReLUニューラルネットワーク近似率
- Authors: Carlo Marcati and Joost A. A. Opschoor and Philipp C. Petersen and
Christoph Schwab
- Abstract要約: ポリトープ領域の重み付け解析関数クラスに対して,安定なReLUニューラルネット(ReLU NN)を$H1(Omega)$で表現する。
指数近似速度は、直線面を持つリプシッツ多角形の空間次元$d = 2$、平面面を持つフィチェラ型多面体領域における空間次元$d=3$で表される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove exponential expressivity with stable ReLU Neural Networks (ReLU NNs)
in $H^1(\Omega)$ for weighted analytic function classes in certain polytopal
domains $\Omega$, in space dimension $d=2,3$. Functions in these classes are
locally analytic on open subdomains $D\subset \Omega$, but may exhibit isolated
point singularities in the interior of $\Omega$ or corner and edge
singularities at the boundary $\partial \Omega$. The exponential expression
rate bounds proved here imply uniform exponential expressivity by ReLU NNs of
solution families for several elliptic boundary and eigenvalue problems with
analytic data. The exponential approximation rates are shown to hold in space
dimension $d = 2$ on Lipschitz polygons with straight sides, and in space
dimension $d=3$ on Fichera-type polyhedral domains with plane faces. The
constructive proofs indicate in particular that NN depth and size increase
poly-logarithmically with respect to the target NN approximation accuracy
$\varepsilon>0$ in $H^1(\Omega)$. The results cover in particular solution sets
of linear, second order elliptic PDEs with analytic data and certain nonlinear
elliptic eigenvalue problems with analytic nonlinearities and singular,
weighted analytic potentials as arise in electron structure models. In the
latter case, the functions correspond to electron densities that exhibit
isolated point singularities at the positions of the nuclei. Our findings
provide in particular mathematical foundation of recently reported, successful
uses of deep neural networks in variational electron structure algorithms.
- Abstract（参考訳）: 空間次元$d=2,3$のポリトープ領域における重み付き解析関数クラスに対して、安定なReLUニューラルネットワーク(ReLU NN)を$H^1(\Omega)$で指数表現する。
これらのクラス内の関数は開部分ドメイン $d\subset \omega$ 上で局所解析されるが、$\omega$ の内部で孤立点特異点または$\partial \omega$ の境界で辺特異点を示すことがある。
ここでの指数表現率境界は、いくつかの楕円境界と解析データによる固有値問題に対する解族ReLU NNによる一様指数表現性を示す。
指数近似速度は、直線面を持つリプシッツ多角形の空間次元$d = 2$、平面面を持つフィチェラ型多面体領域における空間次元$d=3$で表される。
構築的証明は、特に、ターゲットNN近似精度$\varepsilon>0$ in $H^1(\Omega)$に対して、NN深さとサイズが多値的に増加することを示す。
結果は、解析的データと解析的非線形性と特異な重み付き分析ポテンシャルを持つある種の非線形楕円固有値問題を持つ線形二階楕円PDEの特定の解集合を電子構造モデルで表す。
後者の場合、これらの関数は核の位置において孤立点特異性を示す電子密度に対応する。
本研究は,最近報告された,変動型電子構造アルゴリズムにおけるディープニューラルネットワークの利用の数学的基礎を提供する。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Exponential Expressivity of ReLU$^k$ Neural Networks on Gevrey Classes with Point Singularities [0.0]
ソボレフ空間における指数的エミュレーション率をニューロン数の観点から証明する。
形状規則的で単純なポリトープ領域の分割は$mathrmD$で、ニューロンの数と非ゼロパラメータの数は、有限要素空間の自由度数に比例する。
論文 参考訳（メタデータ） (2024-03-04T13:39:22Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳（メタデータ） (2023-02-18T05:06:15Z) - Near-optimal fitting of ellipsoids to random points [68.12685213894112]
楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。
我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。
我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
論文 参考訳（メタデータ） (2022-08-19T18:00:34Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Exponential Convergence of Deep Operator Networks for Elliptic Partial
Differential Equations [0.0]
楕円型二階PDEの係数対解写像の指数収束率でエミュレートする無限次元空間間の深い作用素ネットワーク(ONets)を構築する。
特に、$d$次元周期領域、$d=1, 2, dots$、分析右辺と係数に設定された問題を考える。
我々はONetのニューラルネットワークのサイズが$mathcalO(left|log(varepsilon)right|kappa)$であることを示す。
論文 参考訳（メタデータ） (2021-12-15T13:56:28Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale
of Symmetry [9.695960412426672]
我々は,スプリアスミニマの様々な家系でヘッセンを解析的に特徴付ける。
特に、$dge k$ 標準ガウス入力について、 (a) ヘッセンの $dk$ 固有値の内、$dk - O(d)$ が 0 に近づき、 (b) $Omega(d)$ 固有値は $k$ で線型的に増加することを証明している。
論文 参考訳（メタデータ） (2020-08-04T20:08:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。