論文の概要: Parameter efficient dendritic-tree neurons outperform perceptrons
- arxiv url: http://arxiv.org/abs/2207.00708v1
- Date: Sat, 2 Jul 2022 01:22:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-09 11:49:29.408770
- Title: Parameter efficient dendritic-tree neurons outperform perceptrons
- Title(参考訳): パラメーター効率の良い樹状樹状ニューロンはパーセプトロンを上回る
- Authors: Ziwen Han, Evgeniya Gorobets, Pan Chen
- Abstract要約: 入力の分岐要素の追加と調整と、入力のドロップアウトの影響について検討する。
既存のアーキテクチャにおける多層パーセプトロン層を置き換えるためのPyTorchモジュールを提案する。
- 参考スコア(独自算出の注目度): 1.4502611532302039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biological neurons are more powerful than artificial perceptrons, in part due
to complex dendritic input computations. Inspired to empower the perceptron
with biologically inspired features, we explore the effect of adding and tuning
input branching factors along with input dropout. This allows for parameter
efficient non-linear input architectures to be discovered and benchmarked.
Furthermore, we present a PyTorch module to replace multi-layer perceptron
layers in existing architectures. Our initial experiments on MNIST
classification demonstrate the accuracy and generalization improvement of
dendritic neurons compared to existing perceptron architectures.
- Abstract(参考訳): 生物学的ニューロンは、複雑な樹状体入力計算のために、人工パーセプトロンよりも強力である。
生物学的にインスパイアされた機能を備えたパーセプトロンの強化にインスパイアされた我々は、入力分岐因子の追加とチューニングと入力ドロップアウトの効果を探求する。
これによりパラメータ効率の良い非線形入力アーキテクチャを発見し、ベンチマークすることができる。
さらに,既存のアーキテクチャにおける多層パーセプトロン層を置き換えるPyTorchモジュールを提案する。
MNIST分類の初期実験は、既存のパーセプトロンアーキテクチャと比較して樹状ニューロンの精度と一般化の改善を示す。
関連論文リスト
- Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳(メタデータ) (2023-11-21T13:07:20Z) - WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。
本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。
WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文 参考訳(メタデータ) (2023-10-25T20:34:08Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive
Phenomenological Neuron Model Can Solve Long-Horizon Tasks [34.00839616915719]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Leaky Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力出力関係を10分の1以下のトレーニング可能なパラメータと正確に一致させることができる。
本研究では,Long Range Arenaデータセットなど,時間構造を必要とするタスクについて評価する。
論文 参考訳(メタデータ) (2023-06-14T13:34:13Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳(メタデータ) (2022-11-14T21:34:02Z) - Simple and complex spiking neurons: perspectives and analysis in a
simple STDP scenario [0.7829352305480283]
スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。
この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。
我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
論文 参考訳(メタデータ) (2022-06-28T10:01:51Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - Fast, Smart Neuromorphic Sensors Based on Heterogeneous Networks and
Mixed Encodings [0.0]
ニューロモルフィックアーキテクチャは、変化する環境に反応し、学習し、対応できるスマートセンサーの実装に理想的に適しています。
我々の研究は、昆虫の脳をモデルとして、異なる種類のニューロンやエンコーディングを組み込んだ異質なアーキテクチャをどのように利用して、入力処理、評価、応答を統合するシステムを構築することができるのかを理解する。
論文 参考訳(メタデータ) (2021-04-09T00:26:37Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳(メタデータ) (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。