論文の概要: A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning

• arxiv url: http://arxiv.org/abs/2109.14545v1
• Date: Wed, 29 Sep 2021 16:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 14:36:18.814343
• Title: A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning
• Title（参考訳）: ディープラーニングにおけるアクティベーション関数の包括的調査と性能解析
• Authors: Shiv Ram Dubey, Satish Kumar Singh, Bidyut Baran Chaudhuri
• Abstract要約: さまざまなタイプの問題に対処するために、さまざまなタイプのニューラルネットワークが導入されている。 ニューラルネットワークの主な目標は、非線形分離可能な入力データをより線形分離可能な抽象的特徴に変換することである。 最もポピュラーで一般的な非線形層は、ロジスティックシグモド、タン、ReLU、ELU、Swish、Mishなどのアクティベーション関数(AF)である。
• 参考スコア（独自算出の注目度）: 23.83339228535986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have shown tremendous growth in recent years to solve numerous problems. Various types of neural networks have been introduced to deal with different types of problems. However, the main goal of any neural network is to transform the non-linearly separable input data into more linearly separable abstract features using a hierarchy of layers. These layers are combinations of linear and nonlinear functions. The most popular and common non-linearity layers are activation functions (AFs), such as Logistic Sigmoid, Tanh, ReLU, ELU, Swish and Mish. In this paper, a comprehensive overview and survey is presented for AFs in neural networks for deep learning. Different classes of AFs such as Logistic Sigmoid and Tanh based, ReLU based, ELU based, and Learning based are covered. Several characteristics of AFs such as output range, monotonicity, and smoothness are also pointed out. A performance comparison is also performed among 18 state-of-the-art AFs with different networks on different types of data. The insights of AFs are presented to benefit the researchers for doing further research and practitioners to select among different choices. The code used for experimental comparison is released at: \url{https://github.com/shivram1987/ActivationFunctions}.
• Abstract（参考訳）: ニューラルネットワークは近年、多くの問題を解決するために著しく成長している。 様々なタイプのニューラルネットワークが、様々な種類の問題に対処するために導入されている。 しかしながら、ニューラルネットワークの主な目標は、階層階層構造を使用して、非線形分離可能な入力データをより線形分離可能な抽象特徴に変換することである。 これらの層は線型関数と非線形関数の組み合わせである。 最もポピュラーで一般的な非線形層は、ロジスティックシグモド、タン、ReLU、ELU、Swish、Mishといった活性化関数(AF)である。 本稿では,深層学習のためのニューラルネットワークにおけるafsについて,総括的概要と調査を行った。 Logistic Sigmoid や Tanh ベース,ReLU ベース,ELU ベース,Learning ベースなど,さまざまな AF のクラスが紹介されている。 出力範囲, 単調性, 滑らか性などのAFの特性も指摘されている。 また、異なるタイプのデータ上で異なるネットワークを持つ18の最先端AFの性能比較を行う。 afsの洞察は、研究者がさらなる研究を行い、実践者が異なる選択の中から選択するのに役立つ。 実験的な比較に使われるコードは、 \url{https://github.com/shivram 1987/activatedfunctions} でリリースされる。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Optimizing cnn-Bigru performance: Mish activation and comparative analysis with Relu [0.0]
  アクティベーション関数(AF)はニューラルネットワークの基本コンポーネントであり、データ内の複雑なパターンや関係をキャプチャすることができる。 本研究は, 侵入検知システムの性能向上におけるAFの有効性を照らすものである。
  論文  参考訳（メタデータ） (2024-05-30T21:48:56Z)
• Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
  トレーニング手法の深層ネットワーク性能への影響について検討する。 本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-09T10:52:49Z)
• ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations [0.0]
  活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。 本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。 ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
  論文  参考訳（メタデータ） (2023-05-28T16:52:25Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Evolution of Activation Functions for Deep Learning-Based Image Classification [0.0]
  活性化関数(AF)は、ニューラルネットワークの性能において重要な役割を果たす。 AFを進化させる新しい3つの集団共進化アルゴリズムを提案する。 MNIST、FashionMNIST、KMNIST、USPSの4つのデータセットでテストした結果、優れたAFとAFアーキテクチャを見つけるためのパフォーマンスアルゴリズムであることが証明された。
  論文  参考訳（メタデータ） (2022-06-24T05:58:23Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。