Fugu-MT 論文翻訳(概要): Approximation properties of Residual Neural Networks for Kolmogorov PDEs

論文の概要: Approximation properties of Residual Neural Networks for Kolmogorov PDEs

arxiv url: http://arxiv.org/abs/2111.00215v1
Date: Sat, 30 Oct 2021 09:28:49 GMT
ステータス: 処理完了
システム内更新日: 2021-11-02 17:58:54.265103
Title: Approximation properties of Residual Neural Networks for Kolmogorov PDEs
Title（参考訳）: コルモゴロフPDEのための残留ニューラルネットワークの近似特性
Authors: Jonas Baggenstos and Diyora Salimova
Abstract要約: ResNets はコルモゴロフ偏微分方程式を定数拡散とおそらく非線形勾配係数で近似できることを示す。 FNNとは対照的に、ResNetsのEuler-Maruyama近似構造は、ResNetsの近似の構成を大幅に単純化する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years residual neural networks (ResNets) as introduced by [He, K., Zhang, X., Ren, S., and Sun, J., Proceedings of the IEEE conference on computer vision and pattern recognition (2016), 770-778] have become very popular in a large number of applications, including in image classification and segmentation. They provide a new perspective in training very deep neural networks without suffering the vanishing gradient problem. In this article we show that ResNets are able to approximate solutions of Kolmogorov partial differential equations (PDEs) with constant diffusion and possibly nonlinear drift coefficients without suffering the curse of dimensionality, which is to say the number of parameters of the approximating ResNets grows at most polynomially in the reciprocal of the approximation accuracy $\varepsilon > 0$ and the dimension of the considered PDE $d\in\mathbb{N}$. We adapt a proof in [Jentzen, A., Salimova, D., and Welti, T., Commun. Math. Sci. 19, 5 (2021), 1167-1205] - who showed a similar result for feedforward neural networks (FNNs) - to ResNets. In contrast to FNNs, the Euler-Maruyama approximation structure of ResNets simplifies the construction of the approximating ResNets substantially. Moreover, contrary to the above work, in our proof using ResNets does not require the existence of an FNN (or a ResNet) representing the identity map, which enlarges the set of applicable activation functions.
Abstract（参考訳）: 近年、[He, K., Zhang, X., Ren, S., Sun, J., Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2016), 770-778] は、画像分類やセグメンテーションを含む多くのアプリケーションで非常に人気がある。彼らは、消える勾配問題に悩まされることなく、非常に深いニューラルネットワークをトレーニングする新しい視点を提供する。本稿では, 近似再ネットのパラメータ数が近似精度 $\varepsilon > 0$ と考慮される pde $d\in\mathbb{n}$ の逆数で最大に増加するような次元の呪いに苦しむことなく, 定常拡散と非線形ドリフト係数を持つコルモゴロフ偏微分方程式 (pdes) の近似解を導出することを示す。我々は[jentzen, a., salimova, d., and welti, t., commun. math. sci. 19, 5 (2021), 1167-1205]の証明を、feedforward neural networks (fnns) で同様の結果を示した。 FNNとは対照的に、ResNetsのEuler-Maruyama近似構造は、ResNetsの近似の構成を大幅に単純化する。さらに、上記の研究とは対照的に、我々の証明では、ResNetsは、適用可能なアクティベーション関数の集合を拡大するIDマップを表すFNN(またはResNet)の存在を必要としない。

関連論文リスト

GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文参考訳（メタデータ） (2023-12-05T03:03:54Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
論文参考訳（メタデータ） (2022-06-19T14:41:08Z)
Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文参考訳（メタデータ） (2021-10-18T06:14:28Z)
Overparameterization of deep ResNet: zero loss and mean-field analysis [19.45069138853531]
データに適合するディープニューラルネットワーク(NN)内のパラメータを見つけることは、非最適化問題である。基礎的な一階述語最適化法(漸進降下法)は,多くの現実的状況に完全に適合した大域的解を求める。所定の閾値未満の損失を減らすために必要な深さと幅を高い確率で推定する。
論文参考訳（メタデータ） (2021-05-30T02:46:09Z)
Translating Numerical Concepts for PDEs into Neural Architectures [9.460896836770534]
数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。数値的には、1次元の一般的な高次非線形拡散方程式に対する明示的、加速的、暗黙的スキームを考える。ニューラルネットワーク側では、残存ネットワーク(ResNets)、リカレントネットワーク、Uネットの観点で対応する概念を特定します。
論文参考訳（メタデータ） (2021-03-29T08:31:51Z)
Parametric Complexity Bounds for Approximating PDEs with Neural Networks [41.46028070204925]
pdeの係数が小さなニューラルネットワークで表現できる場合、入力された$d$でスケール的に解を近似するために必要なパラメータは、ニューラルネットワークのパラメータ数に比例することを証明する。我々の証明は、PDEの解に収束する適切な空間における勾配降下をシミュレートするニューラルネットワークの構築に基づいている。
論文参考訳（メタデータ） (2021-03-03T02:42:57Z)
Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
論文参考訳（メタデータ） (2020-07-07T07:45:34Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。