論文の概要: Evolution of Activation Functions: An Empirical Investigation
- arxiv url: http://arxiv.org/abs/2105.14614v1
- Date: Sun, 30 May 2021 20:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 08:00:33.267861
- Title: Evolution of Activation Functions: An Empirical Investigation
- Title(参考訳): 活性化機能の進化:実証的研究
- Authors: Andrew Nader and Danielle Azar
- Abstract要約: 本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
- 参考スコア(独自算出の注目度): 0.30458514384586394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The hyper-parameters of a neural network are traditionally designed through a
time consuming process of trial and error that requires substantial expert
knowledge. Neural Architecture Search (NAS) algorithms aim to take the human
out of the loop by automatically finding a good set of hyper-parameters for the
problem at hand. These algorithms have mostly focused on hyper-parameters such
as the architectural configurations of the hidden layers and the connectivity
of the hidden neurons, but there has been relatively little work on automating
the search for completely new activation functions, which are one of the most
crucial hyper-parameters to choose. There are some widely used activation
functions nowadays which are simple and work well, but nonetheless, there has
been some interest in finding better activation functions. The work in the
literature has mostly focused on designing new activation functions by hand, or
choosing from a set of predefined functions while this work presents an
evolutionary algorithm to automate the search for completely new activation
functions. We compare these new evolved activation functions to other existing
and commonly used activation functions. The results are favorable and are
obtained from averaging the performance of the activation functions found over
30 runs, with experiments being conducted on 10 different datasets and
architectures to ensure the statistical robustness of the study.
- Abstract(参考訳): ニューラルネットワークのハイパーパラメータは伝統的に、かなりの専門知識を必要とする試行錯誤の時間消費プロセスを通じて設計される。
neural architecture search (nas)アルゴリズムは、目の前の問題に対して適切なハイパーパラメータ群を自動的に見つけて、ループから人間を外すことを目的としている。
これらのアルゴリズムは主に、隠れた階層のアーキテクチャ構成や隠れたニューロンの接続といったハイパーパラメータに焦点を当てているが、完全に新しいアクティベーション関数の探索を自動化する作業はほとんど行われておらず、これは選択すべき最も重要なハイパーパラメータの1つである。
現在では、シンプルでうまく機能するアクティベーション関数が広く使われているが、それでもより優れたアクティベーション関数を見つけることには関心がある。
この研究は、完全に新しいアクティベーション関数の探索を自動化する進化的アルゴリズムを提示しながら、手作業で新しいアクティベーション関数を設計すること、あるいは事前に定義された関数の集合から選択することに焦点を当てている。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
結果は良好であり、30回の実行で見つかった活性化関数の性能を平均化し、研究の統計的堅牢性を確保するために10の異なるデータセットとアーキテクチャで実験が行われた。
関連論文リスト
- Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。
本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文 参考訳(メタデータ) (2022-11-13T11:17:13Z) - How important are activation functions in regression and classification?
A survey, performance comparison, and future directions [0.0]
我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。
近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
論文 参考訳(メタデータ) (2022-09-06T17:51:52Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳(メタデータ) (2022-08-30T09:47:31Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Multi-Task Neural Processes [105.22406384964144]
我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。
特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。
その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
論文 参考訳(メタデータ) (2021-11-10T17:27:46Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳(メタデータ) (2020-06-05T00:25:33Z) - A survey on modern trainable activation functions [0.0]
本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。
提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
論文 参考訳(メタデータ) (2020-05-02T12:38:43Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳(メタデータ) (2020-05-02T06:41:20Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳(メタデータ) (2020-04-06T19:52:48Z) - Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文 参考訳(メタデータ) (2020-02-17T19:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。