論文の概要: Non-linear Neurons with Human-like Apical Dendrite Activations
- arxiv url: http://arxiv.org/abs/2003.03229v5
- Date: Thu, 10 Aug 2023 21:19:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 18:20:36.461680
- Title: Non-linear Neurons with Human-like Apical Dendrite Activations
- Title（参考訳）: ヒト様アピカルデンドライト活性を有する非線形ニューロン
- Authors: Mariana-Iuliana Georgescu, Radu Tudor Ionescu, Nicolae-Catalin Ristea,
Nicu Sebe
- Abstract要約: XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
- 参考スコア（独自算出の注目度）: 81.18416067005538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to classify linearly non-separable data, neurons are typically
organized into multi-layer neural networks that are equipped with at least one
hidden layer. Inspired by some recent discoveries in neuroscience, we propose a
new model of artificial neuron along with a novel activation function enabling
the learning of nonlinear decision boundaries using a single neuron. We show
that a standard neuron followed by our novel apical dendrite activation (ADA)
can learn the XOR logical function with 100% accuracy. Furthermore, we conduct
experiments on six benchmark data sets from computer vision, signal processing
and natural language processing, i.e. MOROCO, UTKFace, CREMA-D, Fashion-MNIST,
Tiny ImageNet and ImageNet, showing that the ADA and the leaky ADA functions
provide superior results to Rectified Linear Units (ReLU), leaky ReLU, RBF and
Swish, for various neural network architectures, e.g. one-hidden-layer or
two-hidden-layer multi-layer perceptrons (MLPs) and convolutional neural
networks (CNNs) such as LeNet, VGG, ResNet and Character-level CNN. We obtain
further performance improvements when we change the standard model of the
neuron with our pyramidal neuron with apical dendrite activations (PyNADA). Our
code is available at: https://github.com/raduionescu/pynada.
- Abstract（参考訳）: 線形に分離できないデータを分類するために、ニューロンは通常、少なくとも1つの隠れ層を持つ多層ニューラルネットワークに編成される。
神経科学の最近の発見に触発されて,単一ニューロンを用いた非線形決定境界の学習を可能にする新しい活性化関数とともに,人工ニューロンの新しいモデルを提案する。
標準ニューロンの次に,新しいapical dendrite activation (ada) が100%精度でxor論理関数を学習できることが示されている。
Furthermore, we conduct experiments on six benchmark data sets from computer vision, signal processing and natural language processing, i.e. MOROCO, UTKFace, CREMA-D, Fashion-MNIST, Tiny ImageNet and ImageNet, showing that the ADA and the leaky ADA functions provide superior results to Rectified Linear Units (ReLU), leaky ReLU, RBF and Swish, for various neural network architectures, e.g. one-hidden-layer or two-hidden-layer multi-layer perceptrons (MLPs) and convolutional neural networks (CNNs) such as LeNet, VGG, ResNet and Character-level CNN.
錐体ニューロンと円錐状樹状突起活性化(PyNADA)を併用してニューロンの標準モデルを変更することにより,さらなる性能向上が期待できる。
コードはhttps://github.com/raduionescu/pynada.com/。
関連論文リスト
- RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。
我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
論文 参考訳（メタデータ） (2024-10-03T09:56:39Z) - ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。
2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。
我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-04T17:51:08Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。
我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文 参考訳（メタデータ） (2023-05-31T14:44:33Z) - Supervised Feature Selection with Neuron Evolution in Sparse Neural
Networks [17.12834153477201]
スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。
スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。
NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
論文 参考訳（メタデータ） (2023-03-10T17:09:55Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳（メタデータ） (2022-01-25T02:05:20Z) - Neuroevolution of a Recurrent Neural Network for Spatial and Working
Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。
提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文 参考訳（メタデータ） (2021-02-25T02:13:52Z) - Comparisons among different stochastic selection of activation layers
for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。
ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文 参考訳（メタデータ） (2020-11-24T01:53:39Z) - Learning Neural Activations [2.842794675894731]
人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。
これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
論文 参考訳（メタデータ） (2019-12-27T15:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。