論文の概要: Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense

• arxiv url: http://arxiv.org/abs/2309.13722v1
• Date: Sun, 24 Sep 2023 18:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 17:51:44.747270
• Title: Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense
• Title（参考訳）: L^p$-センスのリプシッツ非線形性を持つコルモゴロフ偏微分方程式の次元性の呪いを、ReLU, リークReLU, ソフトプラスアクティベーションによるディープニューラルネットワークが確実に克服する
• Authors: Julia Ackermann, Arnulf Jentzen, Thomas Kruse, Benno Kuckuck, Joshua Lee Padgett
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)が、次元の呪い(COD)を伴わずにPDE解を近似する表現力を持っていることを示す。 この成果を一般化するためにこの研究の重要な貢献は、$pin(0,infty)$で$Lp$-senseでこのステートメントを確立することである。
• 参考スコア（独自算出の注目度）: 3.3123773366516645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, several deep learning (DL) methods for approximating high-dimensional partial differential equations (PDEs) have been proposed. The interest that these methods have generated in the literature is in large part due to simulations which appear to demonstrate that such DL methods have the capacity to overcome the curse of dimensionality (COD) for PDEs in the sense that the number of computational operations they require to achieve a certain approximation accuracy $\varepsilon\in(0,\infty)$ grows at most polynomially in the PDE dimension $d\in\mathbb N$ and the reciprocal of $\varepsilon$. While there is thus far no mathematical result that proves that one of such methods is indeed capable of overcoming the COD, there are now a number of rigorous results in the literature that show that deep neural networks (DNNs) have the expressive power to approximate PDE solutions without the COD in the sense that the number of parameters used to describe the approximating DNN grows at most polynomially in both the PDE dimension $d\in\mathbb N$ and the reciprocal of the approximation accuracy $\varepsilon>0$. Roughly speaking, in the literature it is has been proved for every $T>0$ that solutions $u_d\colon [0,T]\times\mathbb R^d\to \mathbb R$, $d\in\mathbb N$, of semilinear heat PDEs with Lipschitz continuous nonlinearities can be approximated by DNNs with ReLU activation at the terminal time in the $L^2$-sense without the COD provided that the initial value functions $\mathbb R^d\ni x\mapsto u_d(0,x)\in\mathbb R$, $d\in\mathbb N$, can be approximated by ReLU DNNs without the COD. It is the key contribution of this work to generalize this result by establishing this statement in the $L^p$-sense with $p\in(0,\infty)$ and by allowing the activation function to be more general covering the ReLU, the leaky ReLU, and the softplus activation functions as special cases.
• Abstract（参考訳）: 近年,高次元偏微分方程式(pdes)を近似する深層学習法がいくつか提案されている。 これらの手法が文献で生成した関心の大部分は、そのようなDL手法が PDE の次元の呪い(COD)を克服する能力を持っていることを示すシミュレーションによるもので、ある近似精度を達成するのに必要な計算演算の数$\varepsilon\in(0,\infty)$は PDE 次元$d\in\mathbb N$ と $\varepsilon$ の逆数で多項式的に増加する。 While there is thus far no mathematical result that proves that one of such methods is indeed capable of overcoming the COD, there are now a number of rigorous results in the literature that show that deep neural networks (DNNs) have the expressive power to approximate PDE solutions without the COD in the sense that the number of parameters used to describe the approximating DNN grows at most polynomially in both the PDE dimension $d\in\mathbb N$ and the reciprocal of the approximation accuracy $\varepsilon>0$. 大まかに言えば、すべての$T>0$に対して、解 $u_d\colon [0,T]\times\mathbb R^d\to \mathbb R$, $d\in\mathbb N$, of semilinear heat PDEs with Lipschitz continuous linearities, can be almostd by DNNs with the terminal time with ReLU activation with the $L^2$-sense without the COD において、初期値関数 $\mathbb R^d\ni x\mapsto u_d(0,x)\in\mathbb R$, $d\in\mathbb N$ が CODのない ReLU DNNs によって近似できる。 この研究の重要な貢献は、この主張を$L^p$-sense with $p\in(0,\infty)$に定め、活性化関数がReLU、漏れるReLU、ソフトプラス活性化関数を特殊ケースとしてカバーすることを許すことによって、この結果を一般化することである。

関連論文リスト

• Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense [5.179504118679301]
  我々は,Lmathfrakp$-senseでKolmogorov PDEの解を近似できるマルチレベルPicard近似とReLUによるディープニューラルネットワーク,リークReLU,ソフトプラスアクティベーションを証明した。
  論文  参考訳（メタデータ） (2024-09-30T15:53:24Z)
• Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for space-time solutions of semilinear partial differential equations [3.3123773366516645]
  これは高次元非線形偏微分方程式(PDE)を解くための応用数学の難題である。 深層ニューラルネットワーク(DNN)を用いてPDEの解を近似する深層学習(DL)に基づくPDEの手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:59:29Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• The necessity of depth for artificial neural networks to approximate certain classes of smooth and bounded functions without the curse of dimensionality [4.425982186154401]
  直列線形ユニット(ReLU)を活性化した浅部および深部ニューラルネットワーク(ANN)の高次元近似能力について検討した。 特に、この研究の重要な貢献は、すべての$a,binmathbbR$に対して$b-ageq 7$に対して、 $[a,b]dni x=(x_1,dots,x_d)mapstoprod_i=1d x_iinmathbbR$ for $d という関数があることを明らかにすることである。
  論文  参考訳（メタデータ） (2023-01-19T19:52:41Z)
• Neural Network Approximations of PDEs Beyond Linearity: A Representational Perspective [40.964402478629495]
  非線形PDEの解を近似するためのニューラルネットワークの表現力について検討する。 Emphnonlinear elliptic variational PDEsとして知られるPDEのクラスを扱うことで、ニューラルネットワークは次元性の呪いを避けることができることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:53:18Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Space-time deep neural network approximations for high-dimensional partial differential equations [3.6185342807265415]
  深層学習近似は次元性の呪いを克服する能力を持っているかもしれない。 この記事では、任意の$ainmathbbR$, $ bin (a,infty)$に対して、あるコルモゴロフ PDE の解が次元性の呪いなしで DNN によって近似できることを証明する。
  論文  参考訳（メタデータ） (2020-06-03T12:14:56Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。