論文の概要: Activations Through Extensions: A Framework To Boost Performance Of Neural Networks
- arxiv url: http://arxiv.org/abs/2408.03599v2
- Date: Fri, 16 Aug 2024 01:19:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:39:31.764875
- Title: Activations Through Extensions: A Framework To Boost Performance Of Neural Networks
- Title（参考訳）: 拡張によるアクティベーション:ニューラルネットワークのパフォーマンス向上のためのフレームワーク
- Authors: Chandramouli Kamanchi, Sumanta Mukherjee, Kameshwaran Sampath, Pankaj Dayama, Arindam Jati, Vijay Ekambaram, Dzung Phan,
- Abstract要約: 活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。
本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
- 参考スコア（独自算出の注目度）: 6.302159507265204
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Activation functions are non-linearities in neural networks that allow them to learn complex mapping between inputs and outputs. Typical choices for activation functions are ReLU, Tanh, Sigmoid etc., where the choice generally depends on the application domain. In this work, we propose a framework/strategy that unifies several works on activation functions and theoretically explains the performance benefits of these works. We also propose novel techniques that originate from the framework and allow us to obtain ``extensions'' (i.e. special generalizations of a given neural network) of neural networks through operations on activation functions. We theoretically and empirically show that ``extensions'' of neural networks have performance benefits compared to vanilla neural networks with insignificant space and time complexity costs on standard test functions. We also show the benefits of neural network ``extensions'' in the time-series domain on real-world datasets.
- Abstract（参考訳）: 活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。
アクティベーション関数の典型的な選択は、アプリケーションドメインに依存しているReLU、Tanh、Sigmoidなどである。
本研究では,アクティベーション関数に関するいくつかの研究を統一したフレームワーク/ストラテジーを提案し,これらの成果を理論的に説明する。
また、この枠組みから派生した新しい手法を提案し、活性化関数の操作を通してニューラルネットワークの「拡張」(すなわち、与えられたニューラルネットワークの特殊一般化)を得られるようにした。
ニューラルネットワークの'extensions''は、標準的なテスト関数において、空間と時間的複雑さが重要でないバニラニューラルネットワークと比較してパフォーマンス上の利点があることを示す。
また、実世界のデータセットの時系列領域において、ニューラルネットワーク ``extensions'' の利点を示す。
関連論文リスト
- TSSR: A Truncated and Signed Square Root Activation Function for Neural
Networks [5.9622541907827875]
我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。
この関数は奇数、非線形、単調、微分可能であるため特異である。
ニューラルネットワークの数値安定性を改善する可能性がある。
論文 参考訳（メタデータ） (2023-08-09T09:40:34Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - TANGOS: Regularizing Tabular Neural Networks through Gradient
Orthogonalization and Specialization [69.80141512683254]
TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。
TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。
提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
論文 参考訳（メタデータ） (2023-03-09T18:57:13Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - A survey on recently proposed activation functions for Deep Learning [0.0]
本稿では,ニューラルネットワークにおけるアクティベーション関数の主な概念について述べる。
これには、ディープニューラルネットワークの簡単な紹介、アクティベーション関数とは何なのか、ニューラルネットワークでどのように使用されるのか、最も一般的な性質、異なるタイプのアクティベーション関数、いくつかの課題、制限、アクティベーション関数が直面する代替ソリューションなどが含まれる。
論文 参考訳（メタデータ） (2022-04-06T16:21:52Z) - Activation Functions in Artificial Neural Networks: A Systematic
Overview [0.3553493344868413]
活性化関数は人工ニューロンの出力を形成する。
本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
論文 参考訳（メタデータ） (2021-01-25T08:55:26Z) - Review and Comparison of Commonly Used Activation Functions for Deep
Neural Networks [0.0]
ニューラルネットワーク計算において最も適切なアクティベーション関数を選択することは重要である。
本稿では,Swish,ReLU,Sigmoidなどの一般的な添加関数について検討する。
論文 参考訳（メタデータ） (2020-10-15T11:09:34Z) - Rational neural networks [3.4376560669160394]
我々は合理的な活性化機能を持つニューラルネットワークを考える。
有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
論文 参考訳（メタデータ） (2020-04-04T10:36:11Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。