論文の概要: A Unified and Constructive Framework for the Universality of Neural
Networks
- arxiv url: http://arxiv.org/abs/2112.14877v1
- Date: Thu, 30 Dec 2021 01:26:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 14:11:02.988589
- Title: A Unified and Constructive Framework for the Universality of Neural
Networks
- Title（参考訳）: ニューラルネットワークの普遍性のための統一的で構成的なフレームワーク
- Authors: Tan Bui-Thanh
- Abstract要約: 本稿では、大規模な活性化の普遍性のための統一的で建設的な枠組みを提供する。
Mish、SiLU、ELU、GELUなど、既存のアクティベーション機能のいくつかに関する最初の大学証明を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: One of the reasons that many neural networks are capable of replicating
complicated tasks or functions is their universality property. The past few
decades have seen many attempts in providing constructive proofs for single or
class of neural networks. This paper is an effort to provide a unified and
constructive framework for the universality of a large class of activations
including most of existing activations and beyond. At the heart of the
framework is the concept of neural network approximate identity. It turns out
that most of existing activations are neural network approximate identity, and
thus universal in the space of continuous of functions on compacta. The
framework induces several advantages. First, it is constructive with elementary
means from functional analysis, probability theory, and numerical analysis.
Second, it is the first unified attempt that is valid for most of existing
activations. Third, as a by product, the framework provides the first
university proof for some of the existing activation functions including Mish,
SiLU, ELU, GELU, and etc. Fourth, it discovers new activations with guaranteed
universality property. Indeed, any activation\textemdash whose $\k$th
derivative, with $\k$ being an integer, is integrable and essentially
bounded\textemdash is universal. Fifth, for a given activation and error
tolerance, the framework provides precisely the architecture of the
corresponding one-hidden neural network with predetermined number of neuron,
and the values of weights/biases.
- Abstract（参考訳）: 多くのニューラルネットワークが複雑なタスクや関数を複製できる理由の1つは、その普遍性である。
過去数十年間、ニューラルネットワークの単一またはクラスに対する構成的証明を提供する試みが数多く行われてきた。
本稿では,既存のアクティベーションのほとんどを含む,大規模なアクティベーションの普遍性のための統一的で建設的なフレームワークを提供することを目的とする。
フレームワークの中心にあるのは、ニューラルネットワークの近似idの概念である。
既存のアクティベーションのほとんどはニューラルネットワークの近似IDであり、コンパクトな函数の連続空間において普遍的であることが判明した。
このフレームワークにはいくつかの利点がある。
まず, 関数解析, 確率論, 数値解析などの基礎的手法を用いて構成する。
第二に、既存のアクティベーションの多くに有効である最初の統一的な試みである。
第3に、このフレームワークは製品として、Mish、SiLU、ELU、GELUなど、既存のアクティベーション機能の最初の大学証明を提供する。
第4に、普遍性を保証する新しいアクティベーションを発見する。
実際、$\k$th 微分が整数である任意のアクティベーション\textemdash は可積分であり、本質的に有界な\textemdash は普遍的である。
第5に、与えられたアクティベーションとエラー耐性のために、このフレームワークは、所定の数のニューロンと重み/バイアスの値を持つ対応する1つの隠れたニューラルネットワークのアーキテクチャを正確に提供する。
関連論文リスト
- Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。
本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
論文 参考訳（メタデータ） (2024-08-07T07:36:49Z) - Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳（メタデータ） (2024-01-31T16:52:19Z) - TSSR: A Truncated and Signed Square Root Activation Function for Neural
Networks [5.9622541907827875]
我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。
この関数は奇数、非線形、単調、微分可能であるため特異である。
ニューラルネットワークの数値安定性を改善する可能性がある。
論文 参考訳（メタデータ） (2023-08-09T09:40:34Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳（メタデータ） (2023-07-31T03:41:14Z) - Function Approximation with Randomly Initialized Neural Networks for
Approximate Model Reference Adaptive Control [0.0]
近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。
本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
論文 参考訳（メタデータ） (2023-03-28T18:55:48Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Constrained Monotonic Neural Networks [0.685316573653194]
金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。
モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。
我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
論文 参考訳（メタデータ） (2022-05-24T04:26:10Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳（メタデータ） (2021-02-18T14:53:12Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Logical Neural Networks [51.46602187496816]
ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。
すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。
推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
論文 参考訳（メタデータ） (2020-06-23T16:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。