論文の概要: Evolution of Activation Functions: An Empirical Investigation

• arxiv url: http://arxiv.org/abs/2105.14614v1
• Date: Sun, 30 May 2021 20:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 08:00:33.267861
• Title: Evolution of Activation Functions: An Empirical Investigation
• Title（参考訳）: 活性化機能の進化:実証的研究
• Authors: Andrew Nader and Danielle Azar
• Abstract要約: 本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。 これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
• 参考スコア（独自算出の注目度）: 0.30458514384586394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The hyper-parameters of a neural network are traditionally designed through a time consuming process of trial and error that requires substantial expert knowledge. Neural Architecture Search (NAS) algorithms aim to take the human out of the loop by automatically finding a good set of hyper-parameters for the problem at hand. These algorithms have mostly focused on hyper-parameters such as the architectural configurations of the hidden layers and the connectivity of the hidden neurons, but there has been relatively little work on automating the search for completely new activation functions, which are one of the most crucial hyper-parameters to choose. There are some widely used activation functions nowadays which are simple and work well, but nonetheless, there has been some interest in finding better activation functions. The work in the literature has mostly focused on designing new activation functions by hand, or choosing from a set of predefined functions while this work presents an evolutionary algorithm to automate the search for completely new activation functions. We compare these new evolved activation functions to other existing and commonly used activation functions. The results are favorable and are obtained from averaging the performance of the activation functions found over 30 runs, with experiments being conducted on 10 different datasets and architectures to ensure the statistical robustness of the study.
• Abstract（参考訳）: ニューラルネットワークのハイパーパラメータは伝統的に、かなりの専門知識を必要とする試行錯誤の時間消費プロセスを通じて設計される。 neural architecture search (nas)アルゴリズムは、目の前の問題に対して適切なハイパーパラメータ群を自動的に見つけて、ループから人間を外すことを目的としている。 これらのアルゴリズムは主に、隠れた階層のアーキテクチャ構成や隠れたニューロンの接続といったハイパーパラメータに焦点を当てているが、完全に新しいアクティベーション関数の探索を自動化する作業はほとんど行われておらず、これは選択すべき最も重要なハイパーパラメータの1つである。 現在では、シンプルでうまく機能するアクティベーション関数が広く使われているが、それでもより優れたアクティベーション関数を見つけることには関心がある。 この研究は、完全に新しいアクティベーション関数の探索を自動化する進化的アルゴリズムを提示しながら、手作業で新しいアクティベーション関数を設計すること、あるいは事前に定義された関数の集合から選択することに焦点を当てている。 これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。 結果は良好であり、30回の実行で見つかった活性化関数の性能を平均化し、研究の統計的堅牢性を確保するために10の異なるデータセットとアーキテクチャで実験が行われた。

関連論文リスト

• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• Efficient Search for Customized Activation Functions with Gradient Descent [42.20716255578699]
  異なるアクティベーション関数は、異なるディープラーニングモデルに最適である。 本稿では,基本的な数学的操作と活性化関数のモデル化を組み合わせた,きめ細かい検索セルを提案する。 我々のアプローチは、特別なアクティベーションの識別を可能にし、試したすべてのモデルのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-08-13T11:27:31Z)
• Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes [70.66864668709677]
  高価なブラックボックス関数のグローバル感度解析におけるアクティブラーニングの問題点を考察する。 関数評価は高価であるため,最も価値の高い実験資源の優先順位付けにアクティブラーニングを利用する。 本稿では,デリバティブに基づくグローバル感度測定の重要量を直接対象とする,新たな能動的学習獲得関数を提案する。
  論文  参考訳（メタデータ） (2024-07-13T01:41:12Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• A survey on modern trainable activation functions [0.0]
  本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。 提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
  論文  参考訳（メタデータ） (2020-05-02T12:38:43Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
  進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。 これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
  論文  参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。