論文の概要: Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense

• arxiv url: http://arxiv.org/abs/2309.13722v1
• Date: Sun, 24 Sep 2023 18:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 17:51:44.747270
• Title: Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense
• Title（参考訳）: L^p$-センスのリプシッツ非線形性を持つコルモゴロフ偏微分方程式の次元性の呪いを、ReLU, リークReLU, ソフトプラスアクティベーションによるディープニューラルネットワークが確実に克服する
• Authors: Julia Ackermann, Arnulf Jentzen, Thomas Kruse, Benno Kuckuck, Joshua Lee Padgett
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)が、次元の呪い(COD)を伴わずにPDE解を近似する表現力を持っていることを示す。 この成果を一般化するためにこの研究の重要な貢献は、$pin(0,infty)$で$Lp$-senseでこのステートメントを確立することである。
• 参考スコア（独自算出の注目度）: 3.3123773366516645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, several deep learning (DL) methods for approximating high-dimensional partial differential equations (PDEs) have been proposed. The interest that these methods have generated in the literature is in large part due to simulations which appear to demonstrate that such DL methods have the capacity to overcome the curse of dimensionality (COD) for PDEs in the sense that the number of computational operations they require to achieve a certain approximation accuracy $\varepsilon\in(0,\infty)$ grows at most polynomially in the PDE dimension $d\in\mathbb N$ and the reciprocal of $\varepsilon$. While there is thus far no mathematical result that proves that one of such methods is indeed capable of overcoming the COD, there are now a number of rigorous results in the literature that show that deep neural networks (DNNs) have the expressive power to approximate PDE solutions without the COD in the sense that the number of parameters used to describe the approximating DNN grows at most polynomially in both the PDE dimension $d\in\mathbb N$ and the reciprocal of the approximation accuracy $\varepsilon>0$. Roughly speaking, in the literature it is has been proved for every $T>0$ that solutions $u_d\colon [0,T]\times\mathbb R^d\to \mathbb R$, $d\in\mathbb N$, of semilinear heat PDEs with Lipschitz continuous nonlinearities can be approximated by DNNs with ReLU activation at the terminal time in the $L^2$-sense without the COD provided that the initial value functions $\mathbb R^d\ni x\mapsto u_d(0,x)\in\mathbb R$, $d\in\mathbb N$, can be approximated by ReLU DNNs without the COD. It is the key contribution of this work to generalize this result by establishing this statement in the $L^p$-sense with $p\in(0,\infty)$ and by allowing the activation function to be more general covering the ReLU, the leaky ReLU, and the softplus activation functions as special cases.
• Abstract（参考訳）: 近年,高次元偏微分方程式(pdes)を近似する深層学習法がいくつか提案されている。 これらの手法が文献で生成した関心の大部分は、そのようなDL手法が PDE の次元の呪い(COD)を克服する能力を持っていることを示すシミュレーションによるもので、ある近似精度を達成するのに必要な計算演算の数$\varepsilon\in(0,\infty)$は PDE 次元$d\in\mathbb N$ と $\varepsilon$ の逆数で多項式的に増加する。 While there is thus far no mathematical result that proves that one of such methods is indeed capable of overcoming the COD, there are now a number of rigorous results in the literature that show that deep neural networks (DNNs) have the expressive power to approximate PDE solutions without the COD in the sense that the number of parameters used to describe the approximating DNN grows at most polynomially in both the PDE dimension $d\in\mathbb N$ and the reciprocal of the approximation accuracy $\varepsilon>0$. 大まかに言えば、すべての$T>0$に対して、解 $u_d\colon [0,T]\times\mathbb R^d\to \mathbb R$, $d\in\mathbb N$, of semilinear heat PDEs with Lipschitz continuous linearities, can be almostd by DNNs with the terminal time with ReLU activation with the $L^2$-sense without the COD において、初期値関数 $\mathbb R^d\ni x\mapsto u_d(0,x)\in\mathbb R$, $d\in\mathbb N$ が CODのない ReLU DNNs によって近似できる。 この研究の重要な貢献は、この主張を$L^p$-sense with $p\in(0,\infty)$に定め、活性化関数がReLU、漏れるReLU、ソフトプラス活性化関数を特殊ケースとしてカバーすることを許すことによって、この結果を一般化することである。

関連論文リスト

• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• The necessity of depth for artificial neural networks to approximate certain classes of smooth and bounded functions without the curse of dimensionality [4.425982186154401]
  直列線形ユニット(ReLU)を活性化した浅部および深部ニューラルネットワーク(ANN)の高次元近似能力について検討した。 特に、この研究の重要な貢献は、すべての$a,binmathbbR$に対して$b-ageq 7$に対して、 $[a,b]dni x=(x_1,dots,x_d)mapstoprod_i=1d x_iinmathbbR$ for $d という関数があることを明らかにすることである。
  論文  参考訳（メタデータ） (2023-01-19T19:52:41Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• Neural Network Approximations of PDEs Beyond Linearity: A Representational Perspective [40.964402478629495]
  非線形PDEの解を近似するためのニューラルネットワークの表現力について検討する。 Emphnonlinear elliptic variational PDEsとして知られるPDEのクラスを扱うことで、ニューラルネットワークは次元性の呪いを避けることができることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:53:18Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• On the Representation of Solutions to Elliptic PDEs in Barron Spaces [9.875204185976777]
  本稿では、バロン空間における$d$次元2階楕円型PDEの解の複雑性推定を導出する。 複雑性推定の直接的な結果として、PDEの解は2層ニューラルネットワークによって任意の有界領域上で近似することができる。
  論文  参考訳（メタデータ） (2021-06-14T16:05:07Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Multiscale regression on unknown manifolds [13.752772802705978]
  マルチスケールで$mathcalM$に低次元座標を構築し、ローカルフィッティングによるマルチスケール回帰を行います。 本手法の一般化誤差を,事前のリッチクラス上で高い確率で有限サンプル境界を証明することによって解析する。 私たちのアルゴリズムは、サンプルサイズの準線形複雑性を持ち、定数は$D$で、指数は$d$です。
  論文  参考訳（メタデータ） (2021-01-13T15:14:31Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Space-time deep neural network approximations for high-dimensional partial differential equations [2.1055643409860743]
  深層学習近似は次元性の呪いを克服する能力を持っているかもしれない。 この記事では、任意の$ainmathbbR$, $ bin (a,infty)$に対して、あるコルモゴロフ PDE の解が次元性の呪いなしで DNN によって近似できることを証明する。
  論文  参考訳（メタデータ） (2020-06-03T12:14:56Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。