論文の概要: Qualitative neural network approximation over R and C: Elementary proofs
for analytic and polynomial activation
- arxiv url: http://arxiv.org/abs/2203.13410v1
- Date: Fri, 25 Mar 2022 01:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-28 23:58:15.904049
- Title: Qualitative neural network approximation over R and C: Elementary proofs
for analytic and polynomial activation
- Title（参考訳）: rおよびc上の質的ニューラルネットワーク近似:解析的および多項式的活性化に関する基礎的証明
- Authors: Josiah Park and Stephan Wojtowytsch
- Abstract要約: 解析的アクティベーション関数を持つ深部ニューラルネットワークと浅部ニューラルネットワークのクラスで近似を証明した。
活性化関数を持つ大深度ネットワークの完全連結および残留ネットワークは,任意の幅要件下で近似可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this article, we prove approximation theorems in classes of deep and
shallow neural networks with analytic activation functions by elementary
arguments. We prove for both real and complex networks with non-polynomial
activation that the closure of the class of neural networks coincides with the
closure of the space of polynomials. The closure can further be characterized
by the Stone-Weierstrass theorem (in the real case) and Mergelyan's theorem (in
the complex case). In the real case, we further prove approximation results for
networks with higher-dimensional harmonic activation and orthogonally projected
linear maps. We further show that fully connected and residual networks of
large depth with polynomial activation functions can approximate any polynomial
under certain width requirements. All proofs are entirely elementary.
- Abstract（参考訳）: 本稿では,基礎的議論により解析的活性化関数を持つ深層および浅層ニューラルネットワークのクラスにおける近似定理を証明する。
非線形活性化を持つ実ネットワークと複素ネットワークの両方に対して、ニューラルネットワークのクラスは多項式の空間の閉包と一致することを証明する。
閉包はさらにストーン・ワイエルシュトラスの定理(実数の場合)とマージリャンの定理(複素数の場合)によって特徴づけられる。
実例では、高次元調和活性化と直交射影線形写像を持つネットワークに対する近似結果をさらに証明する。
さらに, 多項式活性化関数を持つ大深度の完全連結および残差ネットワークは, 任意の多項式を一定の幅条件で近似できることを示した。
証明はすべて初等的である。
関連論文リスト
- Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。
活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。
任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文 参考訳（メタデータ） (2023-11-07T11:50:25Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳（メタデータ） (2021-05-31T09:49:14Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - The universal approximation theorem for complex-valued neural networks [0.0]
ニューラルネットワークの古典的普遍近似を複素数値ニューラルネットワークの場合に一般化する。
複雑な活性化関数 $sigma : mathbbC to mathbbC$ のフィードフォワードネットワークを考える。各ニューロンが mathbbCN to mathbbC, z mapto sigma(b + wT z)$ を演算し、 mathbbCN$ の重みが $w で、数学の偏りが $b である。
論文 参考訳（メタデータ） (2020-12-06T18:51:10Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。
我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
論文 参考訳（メタデータ） (2020-07-28T14:54:30Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - On the asymptotics of wide networks with polynomial activations [12.509746979383701]
ニューラルネットワークの動作に対処する既存の予測を,幅の広い範囲で検討する。
活性化関数を持つディープネットワークの予想を証明した。
解析的(および非線形)アクティベーション関数を持つネットワークと,ReLULUのような断片的アクティベーションを持つネットワークとの違いを指摘する。
論文 参考訳（メタデータ） (2020-06-11T18:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。