論文の概要: Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks

• arxiv url: http://arxiv.org/abs/2109.11354v1
• Date: Thu, 23 Sep 2021 13:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 18:23:27.427803
• Title: Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks
• Title（参考訳）: 演算子ニューラルネットワークに対する任意次元普遍近似理論
• Authors: Annan Yu, Chlo\'e Becquey, Diana Halikias, Matthew Esmaili Mallory, Alex Townsend
• Abstract要約: 我々は、幅と深さの演算子NNが連続非線形演算子に対する普遍近似であることを証明した。 非アフィン活性化関数に類似した結果を導出する。
• 参考スコア（独自算出の注目度）: 1.7499351967216341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard Universal Approximation Theorem for operator neural networks (NNs) holds for arbitrary width and bounded depth. Here, we prove that operator NNs of bounded width and arbitrary depth are universal approximators for continuous nonlinear operators. In our main result, we prove that for non-polynomial activation functions that are continuously differentiable at a point with a nonzero derivative, one can construct an operator NN of width five, whose inputs are real numbers with finite decimal representations, that is arbitrarily close to any given continuous nonlinear operator. We derive an analogous result for non-affine polynomial activation functions. We also show that depth has theoretical advantages by constructing operator ReLU NNs of depth $2k^3+8$ and constant width that cannot be well-approximated by any operator ReLU NN of depth $k$, unless its width is exponential in $k$.
• Abstract（参考訳）: オペレータニューラルネットワーク(NN)の標準的なユニバーサル近似理論は、任意の幅と境界深さを保持する。 ここでは、境界幅と任意の深さを持つ作用素NNが連続非線形作用素に対する普遍近似であることを示す。 その結果,非零導関数のある点において連続的に微分可能な非多項活性化関数に対しては,任意の連続非線形作用素に任意に近い有限の十進表現を持つ実数である幅5の作用素nnを構成できることが証明された。 非アフィン多項式活性化関数の類似結果を得る。 また,深さ 2k^3+8$ の演算子 relu nn と、深さ $k$ のオペレータ relu nn が近似できない定数幅を、その幅が指数関数的に 0k$ でない限り構成することにより、深さは理論的に有利であることを示した。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Mixture of Experts Soften the Curse of Dimensionality in Operator Learning [8.430534714651092]
  我々は,専門的ニューラル演算子のネットワーク上に分散した関数空間間のニューラル演算子(MoNO)の混合を構成する。 L2,[0,1]d)$空間の間の任意のリプシッツ非線型作用素がソボレフ単位球上で、与えられた任意の$varepsilon>0$精度に対して等しく近似できることを保証するテキスト分散普遍近似定理である。
  論文  参考訳（メタデータ） (2024-04-13T23:20:16Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Universal approximation with complex-valued deep narrow neural networks [0.0]
  境界幅と任意の深さを持つ複素数値ニューラルネットワークの普遍性について検討する。 より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T13:22:14Z)
• Minimal Width for Universal Property of Deep RNN [6.744583770038476]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。 我々は, 深部狭いRNNの普遍性を証明し, 最大幅の上限がデータ長に依存しないことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:43:54Z)
• Piecewise-Linear Activations or Analytic Activation Functions: Which Produce More Expressive Neural Networks? [4.18804572788063]
  我々は、ReLUネットワークが古典的な(例えばシグモダル)ネットワークよりも優れていることを示す。 我々の主な結果は、$operatornameNNomega+operatornamePool$ のネットワークと $operatornameNNomega+operatornamePool$ のネットワーク間の「分離現象」が(普遍的ではない)密接でないことを示すテキスト定量的に説明されている。
  論文  参考訳（メタデータ） (2022-04-24T09:53:39Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。