論文の概要: A Unified and Constructive Framework for the Universality of Neural
Networks
- arxiv url: http://arxiv.org/abs/2112.14877v4
- Date: Sun, 7 May 2023 13:03:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 01:21:14.917985
- Title: A Unified and Constructive Framework for the Universality of Neural
Networks
- Title（参考訳）: ニューラルネットワークの普遍性のための統一的で構成的なフレームワーク
- Authors: Tan Bui-Thanh
- Abstract要約: 本稿では,大規模な活性化関数の普遍性のための統一的構築的枠組みを提供する。
フレームワークの中心は、ニューラルネットワーク近似アイデンティティ(nAI)の概念である。
既存の活性化函数のほとんどが nAI であり、したがってコンパクト空間上の連続函数の空間において普遍的であることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: One of the reasons why many neural networks are capable of replicating
complicated tasks or functions is their universal property. Though the past few
decades have seen tremendous advances in theories of neural networks, a single
constructive framework for neural network universality remains unavailable.
This paper is the first effort to provide a unified and constructive framework
for the universality of a large class of activation functions including most of
existing ones. At the heart of the framework is the concept of neural network
approximate identity (nAI). The main result is: {\em any nAI activation
function is universal}. It turns out that most of existing activation functions
are nAI, and thus universal in the space of continuous functions on compacta.
The framework induces {\bf several advantages} over the contemporary
counterparts. First, it is constructive with elementary means from functional
analysis, probability theory, and numerical analysis. Second, it is the first
unified attempt that is valid for most of existing activation functions. Third,
as a by product, the framework provides the first universality proof for some
of the existing activation functions including Mish, SiLU, ELU, GELU, and etc.
Fourth, it provides new proofs for most activation functions. Fifth, it
discovers new activation functions with guaranteed universality property.
Sixth, for a given activation and error tolerance, the framework provides
precisely the architecture of the corresponding one-hidden neural network with
predetermined number of neurons, and the values of weights/biases. Seventh, the
framework allows us to abstractly present the first universal approximation
with favorable non-asymptotic rate.
- Abstract（参考訳）: 多くのニューラルネットワークが複雑なタスクや関数を複製できる理由の1つは、その普遍性である。
過去数十年間、ニューラルネットワークの理論は飛躍的に進歩してきたが、ニューラルネットワークの普遍性のための単一の構成的枠組みは、いまだ利用できない。
本稿は,既存の機能を含む多数のアクティベーション関数の普遍性のための統一的かつ建設的なフレームワークを提供する最初の試みである。
フレームワークの中心にあるのは、ニューラルネットワーク近似id(na)の概念である。
主な結果は: "em any nai activation function is universal} である。
既存のアクティベーション関数のほとんどは nai であり、従って compacta 上の連続関数の空間において普遍的である。
この枠組みは、現代のそれよりもいくつかの利点をもたらす。
まず, 関数解析, 確率論, 数値解析などの基礎的手法を用いて構成する。
第二に、既存のアクティベーション関数のほとんどに有効である最初の統一試行である。
第3に、このフレームワークは製品として、Mish、SiLU、ELU、GELUなど、既存のアクティベーション関数のいくつかに対する最初の普遍性証明を提供する。
第4に、ほとんどのアクティベーション関数に対する新しい証明を提供する。
第5に、普遍性を保証する新しい活性化関数を発見する。
第6のフレームワークは、与えられたアクティベーションとエラー耐性のために、所定の数のニューロンと重み/バイアス値を持つ対応する1つの隠れたニューラルネットワークのアーキテクチャを正確に提供する。
第7に、この枠組みにより、有利な非漸近率で最初の普遍近似を抽象的に提示することができる。
関連論文リスト
- Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。
本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
論文 参考訳（メタデータ） (2024-08-07T07:36:49Z) - Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳（メタデータ） (2024-01-31T16:52:19Z) - TSSR: A Truncated and Signed Square Root Activation Function for Neural
Networks [5.9622541907827875]
我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。
この関数は奇数、非線形、単調、微分可能であるため特異である。
ニューラルネットワークの数値安定性を改善する可能性がある。
論文 参考訳（メタデータ） (2023-08-09T09:40:34Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳（メタデータ） (2023-07-31T03:41:14Z) - Function Approximation with Randomly Initialized Neural Networks for
Approximate Model Reference Adaptive Control [0.0]
近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。
本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
論文 参考訳（メタデータ） (2023-03-28T18:55:48Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Constrained Monotonic Neural Networks [0.685316573653194]
金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。
モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。
我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
論文 参考訳（メタデータ） (2022-05-24T04:26:10Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳（メタデータ） (2021-02-18T14:53:12Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Logical Neural Networks [51.46602187496816]
ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。
すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。
推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
論文 参考訳（メタデータ） (2020-06-23T16:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。