論文の概要: Neural Network Approximations of PDEs Beyond Linearity: Representational
Perspective
- arxiv url: http://arxiv.org/abs/2210.12101v1
- Date: Fri, 21 Oct 2022 16:53:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 16:26:21.100019
- Title: Neural Network Approximations of PDEs Beyond Linearity: Representational
Perspective
- Title（参考訳）: 線形性を超えたPDEのニューラルネットワーク近似:表現的視点
- Authors: Tanya Marwah, Zachary C. Lipton, Jianfeng Lu, Andrej Risteski
- Abstract要約: 非線形PDEの解を近似するためのニューラルネットワークの表現力について検討する。
本結果は,線形楕円型PDEに対する類似の先行結果のサブスメおよび実質的に一般化するものである。
- 参考スコア（独自算出の注目度）: 40.964402478629495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A burgeoning line of research has developed deep neural networks capable of
approximating the solutions to high dimensional PDEs, opening related lines of
theoretical inquiry focused on explaining how it is that these models appear to
evade the curse of dimensionality. However, most theoretical analyses thus far
have been limited to linear PDEs. In this work, we take a step towards studying
the representational power of neural networks for approximating solutions to
nonlinear PDEs. We focus on a class of PDEs known as \emph{nonlinear elliptic
variational PDEs}, whose solutions minimize an \emph{Euler-Lagrange} energy
functional $\mathcal{E}(u) = \int_\Omega L(\nabla u) dx$. We show that if
composing a function with Barron norm $b$ with $L$ produces a function of
Barron norm at most $B_L b^p$, the solution to the PDE can be
$\epsilon$-approximated in the $L^2$ sense by a function with Barron norm
$O\left(\left(dB_L\right)^{p^{\log(1/\epsilon)}}\right)$. By a classical result
due to Barron [1993], this correspondingly bounds the size of a 2-layer neural
network needed to approximate the solution. Treating $p, \epsilon, B_L$ as
constants, this quantity is polynomial in dimension, thus showing neural
networks can evade the curse of dimensionality. Our proof technique involves
neurally simulating (preconditioned) gradient in an appropriate Hilbert space,
which converges exponentially fast to the solution of the PDE, and such that we
can bound the increase of the Barron norm at each iterate. Our results subsume
and substantially generalize analogous prior results for linear elliptic PDEs.
- Abstract（参考訳）: 急成長している研究のラインは、高次元のpdesの解を近似できるディープニューラルネットワークを開発し、関連する理論的探究のラインを開き、これらのモデルが次元の呪いを回避しているように見えることを説明した。
しかし、これまでの理論解析のほとんどは線形PDEに限られている。
本研究では,非線形PDEに対する解を近似するためのニューラルネットワークの表現力について研究する。
ここでは, エネルギー汎函数 $\mathcal{E}(u) = \int_\Omega L(\nabla u) dx$ を最小化できるような PDE のクラスである \emph{nonlinear elliptic variational PDEs {\displaystyle \emph{Euler-Lagrange} に焦点をあてる。
バロンノルム$b$と$L$で関数を構成すると、PDEの解は$\epsilon$-approximated in the $L^2$ sense by a function with Barron norm $O\left(\left(dB_L\right)^{p^{\log(1/\epsilon)}}\right。
バロン [1993] による古典的な結果により、これは解を近似するのに必要な2層ニューラルネットワークのサイズと対応する。
定数として$p, \epsilon, B_L$を扱うと、この量は次元の多項式であり、ニューラルネットワークは次元の呪いを避けることができる。
我々の証明手法は、PDEの解に指数関数的に収束する適切なヒルベルト空間における(事前条件付き)勾配をニューラルネットワークでシミュレートし、各繰り返しにおけるバロンノルムの増加を束縛するものである。
この結果は線形楕円型pdesの類似先行結果を仮定し,実質的に一般化する。
関連論文リスト
- Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for space-time solutions of semilinear partial differential equations [3.3123773366516645]
これは高次元非線形偏微分方程式(PDE)を解くための応用数学の難題である。
深層ニューラルネットワーク(DNN)を用いてPDEの解を近似する深層学習(DL)に基づくPDEの手法を提案する。
論文 参考訳（メタデータ） (2024-06-16T09:59:29Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Deep neural networks with ReLU, leaky ReLU, and softplus activation
provably overcome the curse of dimensionality for Kolmogorov partial
differential equations with Lipschitz nonlinearities in the $L^p$-sense [3.3123773366516645]
我々は、ディープニューラルネットワーク(DNN)が、次元の呪い(COD)を伴わずにPDE解を近似する表現力を持っていることを示す。
この成果を一般化するためにこの研究の重要な貢献は、$pin(0,infty)$で$Lp$-senseでこのステートメントを確立することである。
論文 参考訳（メタデータ） (2023-09-24T18:58:18Z) - Efficient Sampling of Stochastic Differential Equations with Positive
Semi-Definite Models [91.22420505636006]
本稿では, ドリフト関数と拡散行列を考慮し, 微分方程式からの効率的なサンプリング問題を扱う。
1/varepsilonは$m2d log (1/varepsilon)$である。
以上の結果から,真の解がより滑らかになるにつれて,どのような凸性も必要とせず,次元の呪いを回避できることが示唆された。
論文 参考訳（メタデータ） (2023-03-30T02:50:49Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳（メタデータ） (2022-09-15T15:42:47Z) - Near-optimal fitting of ellipsoids to random points [68.12685213894112]
楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。
我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。
我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
論文 参考訳（メタデータ） (2022-08-19T18:00:34Z) - Neural Q-learning for solving PDEs [0.0]
我々は,強化学習にQ-ラーニングアルゴリズムを適用し,楕円型PDEを解くための新しい数値法を開発した。
我々の「Q-PDE」アルゴリズムはメッシュフリーであり、従って次元の呪いを克服する可能性がある。
楕円型PDEに対するQ-PDEアルゴリズムの数値計算性能について検討した。
論文 参考訳（メタデータ） (2022-03-31T15:52:44Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - On the Representation of Solutions to Elliptic PDEs in Barron Spaces [9.875204185976777]
本稿では、バロン空間における$d$次元2階楕円型PDEの解の複雑性推定を導出する。
複雑性推定の直接的な結果として、PDEの解は2層ニューラルネットワークによって任意の有界領域上で近似することができる。
論文 参考訳（メタデータ） (2021-06-14T16:05:07Z) - Space-time deep neural network approximations for high-dimensional partial differential equations [3.6185342807265415]
深層学習近似は次元性の呪いを克服する能力を持っているかもしれない。
この記事では、任意の$ainmathbbR$, $ bin (a,infty)$に対して、あるコルモゴロフ PDE の解が次元性の呪いなしで DNN によって近似できることを証明する。
論文 参考訳（メタデータ） (2020-06-03T12:14:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。