論文の概要: An Analysis of State-of-the-art Activation Functions For Supervised Deep Neural Network

• arxiv url: http://arxiv.org/abs/2104.02523v1
• Date: Mon, 5 Apr 2021 16:50:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 13:58:24.252351
• Title: An Analysis of State-of-the-art Activation Functions For Supervised Deep Neural Network
• Title（参考訳）: 監視型ディープニューラルネットワークのための最先端活性化関数の解析
• Authors: Anh Nguyen, Khoa Pham, Dat Ngo, Thanh Ngo, Lam Pham
• Abstract要約: 本稿では,ディープニューラルネットワークの教師付き分類に関して,最先端のアクティベーション機能の解析を行う。 これらアクティベーション機能を統合した2つのディープラーニングネットワークアーキテクチャの実験を行った。
• 参考スコア（独自算出の注目度）: 11.363694566368153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides an analysis of state-of-the-art activation functions with respect to supervised classification of deep neural network. These activation functions comprise of Rectified Linear Units (ReLU), Exponential Linear Unit (ELU), Scaled Exponential Linear Unit (SELU), Gaussian Error Linear Unit (GELU), and the Inverse Square Root Linear Unit (ISRLU). To evaluate, experiments over two deep learning network architectures integrating these activation functions are conducted. The first model, basing on Multilayer Perceptron (MLP), is evaluated with MNIST dataset to perform these activation functions. Meanwhile, the second model, likely VGGish-based architecture, is applied for Acoustic Scene Classification (ASC) Task 1A in DCASE 2018 challenge, thus evaluate whether these activation functions work well in different datasets as well as different network architectures.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークの教師付き分類に関して,最先端のアクティベーション関数の解析を行う。 これらの活性化機能は、rectified Linear Unit (ReLU)、Exponential Linear Unit (ELU)、Scaled Exponential Linear Unit (SELU)、Gausian Error Linear Unit (GELU)、Inverse Square Root Linear Unit (ISRLU)で構成されている。 これらのアクティベーション機能を統合した2つのディープラーニングネットワークアーキテクチャに関する実験を行った。 MLP(Multilayer Perceptron)に基づく第1のモデルは、MNISTデータセットを用いて評価され、これらのアクティベーション機能を実行する。 一方、第2のモデルはおそらくvggishベースのアーキテクチャであり、dcase 2018 challengeの音響シーン分類(asc)タスク1aに適用され、これらのアクティベーション機能が異なるデータセットと異なるネットワークアーキテクチャでうまく機能するかを評価する。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations [0.0]
  活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。 本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。 ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
  論文  参考訳（メタデータ） (2023-05-28T16:52:25Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Look-Ahead Acquisition Functions for Bernoulli Level Set Estimation [9.764638397706717]
  サブレベル設定メンバーシップのルックアヘッド後部に対する解析式を導出する。 これらがLSE獲得関数のクラスに対する解析的表現にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2022-03-18T05:25:35Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
  本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。 特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
  論文  参考訳（メタデータ） (2021-04-08T11:29:11Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。