論文の概要: Universal approximation results for neural networks with non-polynomial activation function over non-compact domains

• arxiv url: http://arxiv.org/abs/2410.14759v2
• Date: Wed, 23 Oct 2024 06:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:38.193909
• Title: Universal approximation results for neural networks with non-polynomial activation function over non-compact domains
• Title（参考訳）: 非コンパクト領域上での非線形活性化機能を有するニューラルネットワークの普遍近似結果
• Authors: Ariel Neufeld, Philipp Schmocker,
• Abstract要約: ユークリッド空間の非コンパクト部分集合上の関数空間内のニューラルネットワークに対する普遍近似結果を導出する。 非ポリノミカルアクティベーション関数を持つニューラルネットワークにより、十分に正規かつ可積分なフーリエ変換を持つ関数を近似するための次元非依存の速度を提供する。
• 参考スコア（独自算出の注目度）: 3.3379026542599934
• License:
• Abstract: In this paper, we generalize the universal approximation property of single-hidden-layer feed-forward neural networks beyond the classical formulation over compact domains. More precisely, by assuming that the activation function is non-polynomial, we derive universal approximation results for neural networks within function spaces over non-compact subsets of a Euclidean space, e.g., weighted spaces, $L^p$-spaces, and (weighted) Sobolev spaces over unbounded domains, where the latter includes the approximation of the (weak) derivatives. Furthermore, we provide some dimension-independent rates for approximating a function with sufficiently regular and integrable Fourier transform by neural networks with non-polynomial activation function.
• Abstract（参考訳）: 本稿では,コンパクト領域上の古典的定式化を超えた単一層フィードフォワードニューラルネットワークの普遍近似特性を一般化する。 より正確には、活性化関数が非ポリノミカルであると仮定することで、ユークリッド空間、eg、重み付き空間、$L^p$-空間、および(重み付き)ソボレフ空間の非コンパクト部分集合上の函数空間内のニューラルネットワークに対する普遍的な近似結果を得る。 さらに,非ポリノミカルアクティベーション関数を持つニューラルネットワークにより,十分に正規かつ可積分なフーリエ変換を持つ関数を近似するための次元非依存の速度を与える。

関連論文リスト

• Approximation and interpolation of deep neural networks [0.0]
  過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。 最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T08:45:16Z)
• Deep neural network approximation of composite functions without the curse of dimensionality [0.0]
  本稿では,ディープニューラルネットワーク(DNN)により近似できる高次元連続関数のクラスを同定する。 クラス内の函数は、積、極大、ある平行化されたリプシッツ連続函数を含む潜在的に非有界な特殊函数として表すことができる。
  論文  参考訳（メタデータ） (2023-04-12T12:08:59Z)
• Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
  本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。 さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
  論文  参考訳（メタデータ） (2023-04-10T08:10:11Z)
• Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions [63.21838830509772]
  集合関数を低次元連続領域に拡張するためのフレームワークを開発する。 我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。 我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
  論文  参考訳（メタデータ） (2022-08-08T10:58:02Z)
• Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations [2.15145758970292]
  我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。 後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
  論文  参考訳（メタデータ） (2022-06-20T01:18:29Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Quantitative Rates and Fundamental Obstructions to Non-Euclidean Universal Approximation with Deep Narrow Feed-Forward Networks [3.8073142980733]
  我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。 グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
  論文  参考訳（メタデータ） (2021-01-13T23:29:40Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。