Fugu-MT 論文翻訳(概要): Activation Functions in Artificial Neural Networks: A Systematic Overview

論文の概要: Activation Functions in Artificial Neural Networks: A Systematic Overview

arxiv url: http://arxiv.org/abs/2101.09957v1
Date: Mon, 25 Jan 2021 08:55:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-14 19:23:06.080367
Title: Activation Functions in Artificial Neural Networks: A Systematic Overview
Title（参考訳）: ニューラルネットワークにおける活性化関数:体系的概要
Authors: Johannes Lederer
Abstract要約: 活性化関数は人工ニューロンの出力を形成する。本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
参考スコア（独自算出の注目度）: 0.3553493344868413
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Activation functions shape the outputs of artificial neurons and, therefore, are integral parts of neural networks in general and deep learning in particular. Some activation functions, such as logistic and relu, have been used for many decades. But with deep learning becoming a mainstream research topic, new activation functions have mushroomed, leading to confusion in both theory and practice. This paper provides an analytic yet up-to-date overview of popular activation functions and their properties, which makes it a timely resource for anyone who studies or applies neural networks.
Abstract（参考訳）: 活性化関数は人工ニューロンの出力を形作るため、ニューラルネットワークの一般および深層学習において不可欠な部分である。ロジスティックやreluのようないくつかのアクティベーション関数は数十年にわたって使われてきた。しかし、ディープラーニングが主流の研究テーマとなり、新しい活性化機能がキノコになり、理論と実践の両方に混乱を引き起こします。本論文では, 人気アクティベーション機能とその特性について, 解析的かつ最新の概観を提供し, ニューラルネットワークを研究・適用するすべての人にとって, タイムリーなリソースとなる。

関連論文リスト

Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
論文参考訳（メタデータ） (2024-08-07T07:36:49Z)
Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文参考訳（メタデータ） (2024-02-21T15:51:01Z)
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。重要なことは、情報組織が記憶の2つの形態を指していることである。
論文参考訳（メタデータ） (2022-10-17T20:15:24Z)
Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文参考訳（メタデータ） (2022-10-06T15:36:27Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
A survey on recently proposed activation functions for Deep Learning [0.0]
本稿では,ニューラルネットワークにおけるアクティベーション関数の主な概念について述べる。これには、ディープニューラルネットワークの簡単な紹介、アクティベーション関数とは何なのか、ニューラルネットワークでどのように使用されるのか、最も一般的な性質、異なるタイプのアクティベーション関数、いくつかの課題、制限、アクティベーション関数が直面する代替ソリューションなどが含まれる。
論文参考訳（メタデータ） (2022-04-06T16:21:52Z)
Advantages of biologically-inspired adaptive neural activation in RNNs during learning [10.357949759642816]
生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
論文参考訳（メタデータ） (2020-06-22T13:49:52Z)
A survey on modern trainable activation functions [0.0]
本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
論文参考訳（メタデータ） (2020-05-02T12:38:43Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)
Learning Neural Activations [2.842794675894731]
人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
論文参考訳（メタデータ） (2019-12-27T15:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。