論文の概要: Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning
- arxiv url: http://arxiv.org/abs/2104.10712v2
- Date: Fri, 7 May 2021 03:41:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 00:13:14.313712
- Title: Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning
- Title（参考訳）: 時間パターン学習のためのニューロモルフィックアルゴリズムハードウェア符号
- Authors: Haowen Fang, Brady Taylor, Ziru Li, Zaidao Mei, Hai Li, Qinru Qiu
- Abstract要約: 複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
- 参考スコア（独自算出の注目度）: 11.781094547718595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuromorphic computing and spiking neural networks (SNN) mimic the behavior
of biological systems and have drawn interest for their potential to perform
cognitive tasks with high energy efficiency. However, some factors such as
temporal dynamics and spike timings prove critical for information processing
but are often ignored by existing works, limiting the performance and
applications of neuromorphic computing. On one hand, due to the lack of
effective SNN training algorithms, it is difficult to utilize the temporal
neural dynamics. Many existing algorithms still treat neuron activation
statistically. On the other hand, utilizing temporal neural dynamics also poses
challenges to hardware design. Synapses exhibit temporal dynamics, serving as
memory units that hold historical information, but are often simplified as a
connection with weight. Most current models integrate synaptic activations in
some storage medium to represent membrane potential and institute a hard reset
of membrane potential after the neuron emits a spike. This is done for its
simplicity in hardware, requiring only a "clear" signal to wipe the storage
medium, but destroys temporal information stored in the neuron.
In this work, we derive an efficient training algorithm for Leaky Integrate
and Fire neurons, which is capable of training a SNN to learn complex spatial
temporal patterns. We achieved competitive accuracy on two complex datasets. We
also demonstrate the advantage of our model by a novel temporal pattern
association task. Codesigned with this algorithm, we have developed a CMOS
circuit implementation for a memristor-based network of neuron and synapses
which retains critical neural dynamics with reduced complexity. This circuit
implementation of the neuron model is simulated to demonstrate its ability to
react to temporal spiking patterns with an adaptive threshold.
- Abstract（参考訳）: ニューロモルフィックコンピューティングとスパイクニューラルネットワーク(SNN)は生物学的システムの振る舞いを模倣し、高いエネルギー効率で認知タスクを実行する可能性に関心を寄せている。
しかし、時間的ダイナミクスやスパイクタイミングといったいくつかの要因は情報処理には不可欠であるが、ニューロモルフィックコンピューティングの性能と応用を制限して、既存の研究によって無視されることが多い。
一方で、効果的なsnトレーニングアルゴリズムが欠如しているため、時間的神経動力学を利用するのが困難である。
多くの既存のアルゴリズムは依然としてニューロンの活性化を統計的に扱っている。
一方、時間的ニューラルダイナミクスの利用は、ハードウェア設計にも課題をもたらす。
シナプスは時間的ダイナミクスを示し、歴史的情報を保持する記憶ユニットとして機能するが、重みとの結びつきとしてしばしば単純化される。
現在のモデルのほとんどは、膜電位を表すためにいくつかの記憶媒体にシナプス活性化を統合し、ニューロンがスパイクを放出した後、膜電位をハードリセットする。
これはハードウェアにおける単純さのために行われ、記憶媒体を消去するために「クリア」信号のみを必要とするが、ニューロンに格納された時間情報を破壊する。
本研究では,複雑な空間時間パターンを学習するためにSNNを訓練可能なLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
2つの複雑なデータセットで競合精度を達成した。
また,新しい時間的パターン関連タスクによるモデルの有用性を示す。
このアルゴリズムで設計し,複雑度を低減した臨界ニューラルダイナミクスを保ちながら,ニューロンとシナプスのメムリスタベースのネットワークのためのCMOS回路実装を開発した。
このニューロンモデルの回路実装は、適応しきい値の時間的スパイクパターンに反応する能力を示すためにシミュレーションされている。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - A frugal Spiking Neural Network for unsupervised classification of continuous multivariate temporal data [0.0]
スパイキングニューラルネットワーク(SNN)は神経型であり、進化する膜電位を持つより生物学的に可塑性なニューロンを使用する。
本稿では,連続データにおける多変量時間パターンの完全教師なし識別と分類のために設計されたFragal Single-layer SNNを紹介する。
論文 参考訳（メタデータ） (2024-08-08T08:15:51Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳（メタデータ） (2022-04-08T21:12:13Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳（メタデータ） (2021-09-22T16:52:51Z) - Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic
network [52.77024349608834]
情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。
この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。
任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
論文 参考訳（メタデータ） (2021-08-31T16:13:15Z) - A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal
Encoding trained with STDP [10.982390333064536]
哺乳動物の大脳皮質を模倣する動的・カオス的な活動を持つ大きな層状SNNは、時間的データから情報を符号化することができることを示す。
ネットワーク重みに固有のランダム性は、STDPによる自己組織化後に入力される時間データを符号化するグループを形成することができると主張している。
情報伝達の指標として,ネットワークエントロピーの観点からネットワークを解析する。
論文 参考訳（メタデータ） (2020-09-01T17:12:18Z) - Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network [7.503685643036081]
空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-19T01:27:39Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳（メタデータ） (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。