論文の概要: Biologically Inspired Oscillating Activation Functions Can Bridge the
Performance Gap between Biological and Artificial Neurons
- arxiv url: http://arxiv.org/abs/2111.04020v4
- Date: Wed, 10 May 2023 04:38:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 18:05:43.095078
- Title: Biologically Inspired Oscillating Activation Functions Can Bridge the
Performance Gap between Biological and Artificial Neurons
- Title（参考訳）: 生物学的刺激による活性化関数は、生体と人工ニューロンのパフォーマンスギャップを橋渡しできる
- Authors: Matthew Mithra Noel, Shubham Bharadwaj, Venkataraman
Muthiah-Nakarajan, Praneet Dutta, Geraldine Bessie Amali
- Abstract要約: 本稿では,ヒト錐体ニューロンにインスパイアされた4つの新しい振動活性化関数を提案する。
振動活性化関数は、一般的なアクティベーション関数とは異なり、全ての入力に対して非飽和である。
一般的なモノトニックや非モノトニックなシングルゼロアクティベーション関数の代わりに発振活性化関数を使用すると、ニューラルネットワークはより速くトレーニングし、少ない層で分類問題を解くことができる。
- 参考スコア（独自算出の注目度）: 2.362412515574206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent discovery of special human neocortical pyramidal neurons that can
individually learn the XOR function highlights the significant performance gap
between biological and artificial neurons. The output of these pyramidal
neurons first increases to a maximum with input and then decreases. Artificial
neurons with similar characteristics can be designed with oscillating
activation functions. Oscillating activation functions have multiple zeros
allowing single neurons to have multiple hyper-planes in their decision
boundary. This enables even single neurons to learn the XOR function. This
paper proposes four new oscillating activation functions inspired by human
pyramidal neurons that can also individually learn the XOR function.
Oscillating activation functions are non-saturating for all inputs unlike
popular activation functions, leading to improved gradient flow and faster
convergence. Using oscillating activation functions instead of popular
monotonic or non-monotonic single-zero activation functions enables neural
networks to train faster and solve classification problems with fewer layers.
An extensive comparison of 23 activation functions on CIFAR 10, CIFAR 100, and
Imagentte benchmarks is presented and the oscillating activation functions
proposed in this paper are shown to outperform all known popular activation
functions.
- Abstract（参考訳）: XOR関数を個別に学習できるヒト新皮質錐体ニューロンの最近の発見は、生物学的および人工ニューロン間の顕著なパフォーマンスギャップを強調している。
これらの錐体ニューロンの出力は、入力によって最大まで増加し、その後減少する。
同様の特性を持つ人工ニューロンは振動活性化関数で設計することができる。
振動活性化関数は複数のゼロを持ち、単一ニューロンが決定境界に複数の超平面を持つことができる。
これにより、単一ニューロンでもXOR関数を学習することができる。
本稿では、XOR関数を個別に学習できる、ヒト錐体ニューロンにインスパイアされた4つの新しい振動活性化関数を提案する。
振動活性化関数は、一般的なアクティベーション関数とは異なり、全ての入力に対して非飽和であり、勾配流の改善とより高速な収束をもたらす。
一般的なモノトニックや非モノトニックなシングルゼロアクティベーション関数の代わりに発振活性化関数を使用すると、ニューラルネットワークはより速くトレーニングし、少ない層で分類問題を解くことができる。
CIFAR10, CIFAR100, Imagentteベンチマークにおける23個のアクティベーション関数の広範囲な比較を行い, 本論文で提案する発振アクティベーション関数は, 広く知られているアクティベーション関数よりも優れていることを示す。
関連論文リスト
- A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions [0.8287206589886881]
本稿では、ほぼ普遍的に使われているReLUlikeやSigmoidalのアクティベーション関数よりもはるかに優れたアクティベーション関数のクラスを導入する。
2つの新しいアクティベーション関数は、一般的なアクティベーション関数と大きく異なるコーンとパラボリックコーンと呼ばれる。
本稿では,多くの非線形実世界のデータセットを半空間よりも少ないハイパーストリップで分離できることを示す。
論文 参考訳（メタデータ） (2024-05-07T16:24:03Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳（メタデータ） (2023-07-31T03:41:14Z) - Emergent Modularity in Pre-trained Transformers [127.08792763817496]
モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。
事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。
このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
論文 参考訳（メタデータ） (2023-05-28T11:02:32Z) - Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。
これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。
提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
論文 参考訳（メタデータ） (2022-10-17T13:32:52Z) - An Adiabatic Capacitive Artificial Neuron with RRAM-based Threshold
Detection for Energy-Efficient Neuromorphic Computing [62.997667081978825]
神経細胞の体細胞膜電位を誘導するために, 断熱性シナプスコンデンサを特徴とする人工ニューロンを提案する。
最初の4-bit adiabaticacacitive neuron proof-of-conceptの例では、90%のシナプスエネルギーが節約された。
論文 参考訳（メタデータ） (2022-02-02T17:12:22Z) - Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。
ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。
新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文 参考訳（メタデータ） (2021-08-30T01:07:05Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳（メタデータ） (2021-05-30T20:08:20Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。