論文の概要: A survey on modern trainable activation functions

• arxiv url: http://arxiv.org/abs/2005.00817v4
• Date: Thu, 25 Feb 2021 21:34:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 11:31:37.984278
• Title: A survey on modern trainable activation functions
• Title（参考訳）: 現代のトレーニング可能なアクティベーション関数に関する調査
• Authors: Andrea Apicella, Francesco Donnarumma, Francesco Isgr\`o and Roberto Prevete
• Abstract要約: 本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。 提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In neural networks literature, there is a strong interest in identifying and defining activation functions which can improve neural network performance. In recent years there has been a renovated interest of the scientific community in investigating activation functions which can be trained during the learning process, usually referred to as "trainable", "learnable" or "adaptable" activation functions. They appear to lead to better network performance. Diverse and heterogeneous models of trainable activation function have been proposed in the literature. In this paper, we present a survey of these models. Starting from a discussion on the use of the term "activation function" in literature, we propose a taxonomy of trainable activation functions, highlight common and distinctive proprieties of recent and past models, and discuss main advantages and limitations of this type of approach. We show that many of the proposed approaches are equivalent to adding neuron layers which use fixed (non-trainable) activation functions and some simple local rule that constraints the corresponding weight layers.
• Abstract（参考訳）: ニューラルネットワーク文学では、ニューラルネットワークの性能を向上させる活性化関数の同定と定義に強い関心がある。 近年、科学コミュニティは、学習プロセス中に訓練できる活性化機能(通常「訓練可能」、「学習可能」、または「適応可能」活性化機能)の調査に、新たな関心を寄せている。 ネットワークパフォーマンスが向上しているようだ。 トレーニング可能なアクティベーション関数の多変数および異種モデルが文献で提案されている。 本稿では,これらのモデルについて調査する。 文献における「活性化関数」という用語の使用に関する議論から、訓練可能な活性化関数の分類法を提案し、最近のモデルと過去のモデルの共通および特徴的特性を強調し、この種のアプローチの主な利点と限界について論じる。 提案手法の多くは、固定(訓練不能)活性化関数を用いたニューロン層の追加と、対応する重み層を制約する単純な局所規則と等価である。

関連論文リスト

• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Stochastic Adaptive Activation Function [1.9199289015460212]
  本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。 実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
  論文  参考訳（メタデータ） (2022-10-21T01:57:25Z)
• How important are activation functions in regression and classification? A survey, performance comparison, and future directions [0.0]
  我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。 近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
  論文  参考訳（メタデータ） (2022-09-06T17:51:52Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
  本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。 これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
  論文  参考訳（メタデータ） (2021-05-30T20:08:20Z)
• Activation Functions in Artificial Neural Networks: A Systematic Overview [0.3553493344868413]
  活性化関数は人工ニューロンの出力を形成する。 本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
  論文  参考訳（メタデータ） (2021-01-25T08:55:26Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。