論文の概要: Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks

• arxiv url: http://arxiv.org/abs/2402.09092v1
• Date: Wed, 14 Feb 2024 11:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 15:55:33.472020
• Title: Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks
• Title（参考訳）: アクティベーションの3年 - ニューラルネットワークにおける400のアクティベーション関数の総合的調査
• Authors: Vladim\'ir Kunc, Ji\v{r}\'i Kl\'ema
• Abstract要約: 本稿では,400のアクティベーション機能に関する広範な調査を行う。 我々の主な目標は、以前公開されたアクティベーション関数の最も包括的な概要と体系化を提供することです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have proven to be a highly effective tool for solving complex problems in many areas of life. Recently, their importance and practical usability have further been reinforced with the advent of deep learning. One of the important conditions for the success of neural networks is the choice of an appropriate activation function introducing non-linearity into the model. Many types of these functions have been proposed in the literature in the past, but there is no single comprehensive source containing their exhaustive overview. The absence of this overview, even in our experience, leads to redundancy and the unintentional rediscovery of already existing activation functions. To bridge this gap, our paper presents an extensive survey involving 400 activation functions, which is several times larger in scale than previous surveys. Our comprehensive compilation also references these surveys; however, its main goal is to provide the most comprehensive overview and systematization of previously published activation functions with links to their original sources. The secondary aim is to update the current understanding of this family of functions.
• Abstract（参考訳）: ニューラルネットワークは、多くの分野で複雑な問題を解決するための非常に効果的なツールであることが証明されている。 近年、深層学習の出現に伴い、その重要性と実用性はさらに強化されている。 ニューラルネットワークの成功の重要な条件の1つは、モデルに非線形性を導入する適切なアクティベーション関数の選択である。 これらの機能は過去に多くの文献で提案されてきたが、概観を包括した総合的な資料は存在しない。 この概要の欠如は、我々の経験においても、既に存在するアクティベーション関数の冗長性と意図しない再検討につながる。 このギャップを埋めるために,本研究では,400のアクティベーション関数に関する広範な調査を行った。 包括的コンパイルもこれらの調査を参考にしているが、その主な目的は、以前公開されたアクティベーション関数のより包括的な概要と体系化と、元のソースへのリンクを提供することである。 第二の目的は、この関数ファミリーの現在の理解を更新することである。

関連論文リスト

• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• A Method on Searching Better Activation Functions [15.180864683908878]
  深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。 我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
  論文  参考訳（メタデータ） (2024-05-19T03:48:05Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Elephant Neural Networks: Born to Be a Continual Learner [7.210328077827388]
  破滅的な忘れ物は、何十年にもわたって継続的な学習にとって重要な課題である。 ニューラルネットワークのトレーニング力学におけるアクティベーション機能の役割と,その破滅的忘れに対する影響について検討した。 古典的な活性化関数を象の活性化関数に置き換えることで、破滅的な忘れ物に対するニューラルネットワークのレジリエンスを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T17:27:39Z)
• Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors [58.340159346749964]
  本稿では,証明可能な推論能力を備えた複雑なクエリを用いたエンドツーエンド学習を支援するニューラルシンボリック手法を提案する。 これまでに検討されていない10種類の新しいクエリを含む新しいデータセットを開発する。 提案手法は,新しいデータセットにおいて先行手法を著しく上回り,既存データセットにおける先行手法を同時に上回っている。
  論文  参考訳（メタデータ） (2023-04-14T11:35:35Z)
• Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
  本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。 これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
  論文  参考訳（メタデータ） (2021-05-30T20:08:20Z)
• Activation Functions in Artificial Neural Networks: A Systematic Overview [0.3553493344868413]
  活性化関数は人工ニューロンの出力を形成する。 本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
  論文  参考訳（メタデータ） (2021-01-25T08:55:26Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Bayesian active learning for production, a systematic study and a reusable library [85.32971950095742]
  本稿では,現在のアクティブラーニング技術の主な欠点について分析する。 実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。 部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
  論文  参考訳（メタデータ） (2020-06-17T14:51:11Z)
• A survey on modern trainable activation functions [0.0]
  本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。 提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
  論文  参考訳（メタデータ） (2020-05-02T12:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。