論文の概要: Review and Comparison of Commonly Used Activation Functions for Deep
Neural Networks
- arxiv url: http://arxiv.org/abs/2010.09458v1
- Date: Thu, 15 Oct 2020 11:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 02:50:17.171456
- Title: Review and Comparison of Commonly Used Activation Functions for Deep
Neural Networks
- Title(参考訳): 深層ニューラルネットワークにおける一般的なアクティベーション関数のレビューと比較
- Authors: Tomasz Szanda{\l}a
- Abstract要約: ニューラルネットワーク計算において最も適切なアクティベーション関数を選択することは重要である。
本稿では,Swish,ReLU,Sigmoidなどの一般的な添加関数について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The primary neural networks decision-making units are activation functions.
Moreover, they evaluate the output of networks neural node; thus, they are
essential for the performance of the whole network. Hence, it is critical to
choose the most appropriate activation function in neural networks calculation.
Acharya et al. (2018) suggest that numerous recipes have been formulated over
the years, though some of them are considered deprecated these days since they
are unable to operate properly under some conditions. These functions have a
variety of characteristics, which are deemed essential to successfully
learning. Their monotonicity, individual derivatives, and finite of their range
are some of these characteristics (Bach 2017). This research paper will
evaluate the commonly used additive functions, such as swish, ReLU, Sigmoid,
and so forth. This will be followed by their properties, own cons and pros, and
particular formula application recommendations.
- Abstract(参考訳): 主要なニューラルネットワーク決定ユニットはアクティベーション関数である。
さらに、ネットワークニューラルノードの出力を評価し、ネットワーク全体のパフォーマンスに不可欠である。
したがって、ニューラルネットワーク計算において最も適切なアクティベーション関数を選択することが重要である。
Acharya et al. (2018) は、多くのレシピが長年にわたって定式化されてきたことを示唆しているが、一部のレシピは、ある条件下で適切に動作できないため、近年は廃止されていると考えられている。
これらの関数は様々な特性を持ち、学習に欠かせないものと考えられている。
それらの単調性、個々の微分、およびそれらの範囲の有限性はこれらの性質のいくつかである(Bach 2017)。
本稿では,swish,relu,sgmoid等,一般的に用いられる付加関数について検討する。
この後、プロパティ、独自のconsとpro、および特定の公式アプリケーション推奨が続く。
関連論文リスト
- TSSR: A Truncated and Signed Square Root Activation Function for Neural
Networks [5.9622541907827875]
我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。
この関数は奇数、非線形、単調、微分可能であるため特異である。
ニューラルネットワークの数値安定性を改善する可能性がある。
論文 参考訳(メタデータ) (2023-08-09T09:40:34Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳(メタデータ) (2023-07-31T03:41:14Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳(メタデータ) (2022-06-30T14:24:32Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳(メタデータ) (2022-06-09T15:35:22Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳(メタデータ) (2021-07-29T23:32:15Z) - Activation Functions in Artificial Neural Networks: A Systematic
Overview [0.3553493344868413]
活性化関数は人工ニューロンの出力を形成する。
本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
論文 参考訳(メタデータ) (2021-01-25T08:55:26Z) - A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。
完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-23T20:33:13Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。