論文の概要: Exploiting Noise as a Resource for Computation and Learning in Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2305.16044v4
- Date: Mon, 10 Jul 2023 14:37:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 18:26:15.384667
- Title: Exploiting Noise as a Resource for Computation and Learning in Spiking
Neural Networks
- Title（参考訳）: スパイクニューラルネットワークにおける計算と学習のための資源としてのノイズの利用
- Authors: Gehua Ma, Rui Yan, Huajin Tang
- Abstract要約: 本研究では、雑音性神経力学を取り入れたスパイクニューロンモデルを導入することにより、雑音性スパイクニューラルネットワーク(NSNN)とノイズ駆動学習規則(NDL)を提案する。
提案手法は, 競合性能を示し, 挑戦的摂動に対する堅牢性を向上することを示す。
この研究は、機械学習、ニューロモーフィックインテリジェンス実践者、計算神経科学研究者のための強力で使いやすいツールを提供する。
- 参考スコア（独自算出の注目度）: 27.280179626203648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: -- A theoretical framework that subsumes conventional deterministic spiking
neural networks and surrogate gradients, facilitating more efficient and
effective employment of various neuromorphic hardware developments in
real-world applications.
-- Scalable spiking neural models that incorporate noisy neuronal dynamics
for implicit regularization, improved robustness, and computational accounts of
biological neural computation, revealing that unreliable neural substrates
yield reliable computation and learning.
Networks of spiking neurons underpin the extraordinary information-processing
capabilities of the brain and have emerged as pillar models in neuromorphic
intelligence. Despite extensive research on spiking neural networks (SNNs),
most are established on deterministic models. Integrating noise into SNNs leads
to biophysically more realistic neural dynamics and may benefit model
performance. This work presents the noisy spiking neural network (NSNN) and the
noise-driven learning rule (NDL) by introducing a spiking neuron model
incorporating noisy neuronal dynamics. Our approach shows how noise may serve
as a resource for computation and learning and theoretically provides a
framework for general SNNs. We show that our method exhibits competitive
performance and improved robustness against challenging perturbations than
deterministic SNNs and better reproduces probabilistic neural computation in
neural coding. This study offers a powerful and easy-to-use tool for machine
learning, neuromorphic intelligence practitioners, and computational
neuroscience researchers.
- Abstract（参考訳）: -- 従来の決定論的スパイクニューラルネットワークと代理勾配を仮定する理論的枠組みにより、現実世界の応用において、様々なニューロモルフィックハードウェア開発をより効率的に効果的に活用することができる。
-- 暗黙の正規化、堅牢性の改善、生物学的神経計算の計算的説明など、ノイズの多い神経力学を取り入れたスケーラブルなスパイクニューラルモデル。
スパイクニューロンのネットワークは、脳の異常な情報処理能力の基盤となり、ニューロモルフィックインテリジェンスにおける柱モデルとして登場した。
スパイキングニューラルネットワーク(SNN)に関する広範な研究にもかかわらず、ほとんどが決定論的モデルに基づいている。
SNNにノイズを組み込むことは、生物物理学的により現実的なニューラルダイナミクスをもたらし、モデル性能の恩恵を受ける可能性がある。
本稿では,雑音ニューロンのダイナミクスを組み込んだスパイキングニューロンモデルを導入することにより,ノイズスパイキングニューラルネットワーク(nsnn)とノイズ駆動学習ルール(ndl)を提案する。
提案手法は,雑音が計算と学習の資源としてどのように役立つかを示し,理論的には一般的なsnsの枠組みを提供する。
本手法は, 決定論的snsよりも競合性が高く, 頑健性が向上し, ニューラルコーディングにおける確率的ニューラル計算の再現性が向上することを示す。
本研究は、機械学習、ニューロモルフィックインテリジェンス実践者、計算神経科学研究者に強力で使いやすいツールを提供する。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Random-coupled Neural Network [17.53731608985241]
パルス結合ニューラルネットワーク(PCNN)は、コンピュータビジョンとニューラルネットワークの分野における人間の脳の特徴を模倣するためのよく応用されたモデルである。
本研究では,ランダム結合ニューラルネットワーク(RCNN)を提案する。
ランダム不活性化プロセスを通じて、PCNNのニューロモルフィックコンピューティングの困難を克服する。
論文 参考訳（メタデータ） (2024-03-26T09:13:06Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Toward stochastic neural computing [11.955322183964201]
本稿では,ノイズ入力のストリームをスパイキングニューロンの集団によって変換し,処理するニューラルコンピューティングの理論を提案する。
本手法をIntelのLoihiニューロモルフィックハードウェアに適用する。
論文 参考訳（メタデータ） (2023-05-23T12:05:35Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳（メタデータ） (2022-03-18T07:05:27Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳（メタデータ） (2020-05-24T01:04:53Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。