論文の概要: How important are activation functions in regression and classification?
A survey, performance comparison, and future directions
- arxiv url: http://arxiv.org/abs/2209.02681v2
- Date: Wed, 7 Sep 2022 15:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-08 11:48:37.641253
- Title: How important are activation functions in regression and classification?
A survey, performance comparison, and future directions
- Title（参考訳）: 回帰と分類における活性化関数の重要性
調査, 性能比較, 今後の方向性
- Authors: Ameya D. Jagtap and George Em Karniadakis
- Abstract要約: 我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。
近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by biological neurons, the activation functions play an essential
part in the learning process of any artificial neural network commonly used in
many real-world problems. Various activation functions have been proposed in
the literature for classification as well as regression tasks. In this work, we
survey the activation functions that have been employed in the past as well as
the current state-of-the-art. In particular, we present various developments in
activation functions over the years and the advantages as well as disadvantages
or limitations of these activation functions. We also discuss classical (fixed)
activation functions, including rectifier units, and adaptive activation
functions. In addition to presenting the taxonomy of activation functions based
on characterization, a taxonomy of activation functions based on applications
is also presented. To this end, the systematic comparison of various fixed and
adaptive activation functions is performed for classification data sets such as
the MNIST, CIFAR-10, and CIFAR-100. In recent years, a physics-informed machine
learning framework has emerged for solving problems related to scientific
computations. To this purpose, we also discuss various requirements for
activation functions that have been used in the physics-informed machine
learning framework. Furthermore, various comparisons are made among different
fixed and adaptive activation functions using various machine learning
libraries such as TensorFlow, Pytorch, and JAX.
- Abstract（参考訳）: 生体ニューロンにインスパイアされた活性化機能は、現実世界の多くの問題でよく使われる人工ニューラルネットワークの学習過程において重要な役割を果たす。
様々な活性化関数が分類や回帰タスクの文献で提案されている。
本研究では,これまで採用されてきたアクティベーション機能と現在の技術状況について調査する。
特に,長年にわたる活性化関数の様々な発展と,これらの活性化関数の欠点や限界について述べる。
また、整流器ユニットを含む古典的(固定)アクティベーション関数と適応的アクティベーション関数についても論じる。
キャラクタリゼーションに基づく活性化関数の分類を示すことに加え、応用に基づく活性化関数の分類も提示する。
この目的のために、MNIST、CIFAR-10、CIFAR-100などの分類データセットに対して、様々な固定および適応活性化関数の体系的比較を行う。
近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
そこで本研究では,物理インフォームド機械学習フレームワークで使用されているアクティベーション関数の要件についても論じる。
さらに、TensorFlow、Pytorch、JAXといったさまざまな機械学習ライブラリを使用して、さまざまな固定および適応アクティベーション関数間で、さまざまな比較を行う。
関連論文リスト
- Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
拡散モデルは当初、画像生成のために設計されている。
近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
論文 参考訳（メタデータ） (2024-10-04T16:05:14Z) - Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes [70.66864668709677]
高価なブラックボックス関数のグローバル感度解析におけるアクティブラーニングの問題点を考察する。
関数評価は高価であるため,最も価値の高い実験資源の優先順位付けにアクティブラーニングを利用する。
本稿では,デリバティブに基づくグローバル感度測定の重要量を直接対象とする,新たな能動的学習獲得関数を提案する。
論文 参考訳（メタデータ） (2024-07-13T01:41:12Z) - Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。
本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文 参考訳（メタデータ） (2022-11-13T11:17:13Z) - Stochastic Adaptive Activation Function [1.9199289015460212]
本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。
実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
論文 参考訳（メタデータ） (2022-10-21T01:57:25Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳（メタデータ） (2021-05-30T20:08:20Z) - Comparisons among different stochastic selection of activation layers
for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。
ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文 参考訳（メタデータ） (2020-11-24T01:53:39Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳（メタデータ） (2020-06-05T00:25:33Z) - A survey on modern trainable activation functions [0.0]
本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。
提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
論文 参考訳（メタデータ） (2020-05-02T12:38:43Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Learning Class Regularized Features for Action Recognition [68.90994813947405]
本稿では,階層活性化のクラスベース正規化を行うクラス正規化手法を提案する。
動作認識に最先端CNNアーキテクチャのクラス正規化ブロックを用いることで,Kineetics,UCF-101,HMDB-51データセットにおいて,それぞれ1.8%,1.2%,1.4%の体系的改善が得られた。
論文 参考訳（メタデータ） (2020-02-07T07:27:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。