論文の概要: Biologically Inspired Oscillating Activation Functions Can Bridge the
Performance Gap between Biological and Artificial Neurons
- arxiv url: http://arxiv.org/abs/2111.04020v3
- Date: Tue, 11 Jan 2022 21:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 22:32:25.882567
- Title: Biologically Inspired Oscillating Activation Functions Can Bridge the
Performance Gap between Biological and Artificial Neurons
- Title（参考訳）: 生物学的刺激による活性化関数は、生体と人工ニューロンのパフォーマンスギャップを橋渡しできる
- Authors: Matthew Mithra Noel, Shubham Bharadwaj, Venkataraman
Muthiah-Nakarajan, Praneet Dutta, Geraldine Bessie Amali
- Abstract要約: 活性化関数は、複雑な高次元関数を学習する能力を持つニューラルネットワークを提供する。
シグモイドのような飽和活性化関数は、消失する勾配問題に悩まされており、ディープニューラルネットワークでは利用できない。
そこで本稿では,手動機能工学を使わずに,個々のニューロンがXOR関数を学習できる4つの新しい発振活性化関数を提案する。
- 参考スコア（独自算出の注目度）: 2.362412515574206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nonlinear activation functions endow neural networks with the ability to
learn complex high-dimensional functions. The choice of activation function is
a crucial hyperparameter that determines the performance of deep neural
networks. It significantly affects the gradient flow, speed of training and
ultimately the representation power of the neural network. Saturating
activation functions like sigmoids suffer from the vanishing gradient problem
and cannot be used in deep neural networks. Universal approximation theorems
guarantee that multilayer networks of sigmoids and ReLU can learn arbitrarily
complex continuous functions to any accuracy. Despite the ability of multilayer
neural networks to learn arbitrarily complex activation functions, each neuron
in a conventional neural network (networks using sigmoids and ReLU like
activations) has a single hyperplane as its decision boundary and hence makes a
linear classification. Thus single neurons with sigmoidal, ReLU, Swish, and
Mish activation functions cannot learn the XOR function. Recent research has
discovered biological neurons in layers two and three of the human cortex
having oscillating activation functions and capable of individually learning
the XOR function. The presence of oscillating activation functions in
biological neural neurons might partially explain the performance gap between
biological and artificial neural networks. This paper proposes 4 new
oscillating activation functions which enable individual neurons to learn the
XOR function without manual feature engineering. The paper explores the
possibility of using oscillating activation functions to solve classification
problems with fewer neurons and reduce training time.
- Abstract（参考訳）: 非線形活性化関数はニューラルネットワークに複雑な高次元関数を学習する能力を与える。
活性化関数の選択は、ディープニューラルネットワークの性能を決定する重要なハイパーパラメータである。
これは勾配流、トレーニングの速度、最終的にはニューラルネットワークの表現力に大きく影響する。
sigmoidsのような飽和アクティベーション関数は、消失する勾配問題に悩まされ、ディープニューラルネットワークでは使用できない。
普遍近似定理は、シグモイドとReLUの多層ネットワークが任意の精度で任意の複素連続函数を学習できることを保証する。
多層ニューラルネットワークが任意の複雑な活性化関数を学習する能力にもかかわらず、従来のニューラルネットワーク(シグモイドとReLUをアクティベーションに用いたネットワーク)の各ニューロンはその決定境界として単一の超平面を持ち、従って線形分類を行う。
したがって、Sigmoidal、ReLU、Swish、Mishの活性化機能を持つ単一ニューロンはXOR関数を学習できない。
近年の研究では、振動活性化機能を有し、XOR機能を個別に学習できるヒト大脳皮質の2層と3層の生物学的ニューロンが発見された。
生体ニューロンにおける振動活性化機能の存在は、生物学的ニューラルネットワークと人工神経ネットワークのパフォーマンスギャップを部分的に説明できるかもしれない。
本稿では,個々のニューロンが手作業でxor機能を学習できる4つの新しい振動活性化機能を提案する。
本稿では、発振活性化関数を用いて、ニューロンの少ない分類問題を解消し、トレーニング時間を短縮する可能性を検討する。
関連論文リスト
- A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions [0.8287206589886881]
本稿では、ほぼ普遍的に使われているReLUlikeやSigmoidalのアクティベーション関数よりもはるかに優れたアクティベーション関数のクラスを導入する。
2つの新しいアクティベーション関数は、一般的なアクティベーション関数と大きく異なるコーンとパラボリックコーンと呼ばれる。
本稿では,多くの非線形実世界のデータセットを半空間よりも少ないハイパーストリップで分離できることを示す。
論文 参考訳（メタデータ） (2024-05-07T16:24:03Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳（メタデータ） (2023-07-31T03:41:14Z) - Emergent Modularity in Pre-trained Transformers [127.08792763817496]
モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。
事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。
このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
論文 参考訳（メタデータ） (2023-05-28T11:02:32Z) - Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。
これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。
提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
論文 参考訳（メタデータ） (2022-10-17T13:32:52Z) - An Adiabatic Capacitive Artificial Neuron with RRAM-based Threshold
Detection for Energy-Efficient Neuromorphic Computing [62.997667081978825]
神経細胞の体細胞膜電位を誘導するために, 断熱性シナプスコンデンサを特徴とする人工ニューロンを提案する。
最初の4-bit adiabaticacacitive neuron proof-of-conceptの例では、90%のシナプスエネルギーが節約された。
論文 参考訳（メタデータ） (2022-02-02T17:12:22Z) - Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。
ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。
新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文 参考訳（メタデータ） (2021-08-30T01:07:05Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳（メタデータ） (2021-05-30T20:08:20Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。