論文の概要: Simple and complex spiking neurons: perspectives and analysis in a simple STDP scenario

• arxiv url: http://arxiv.org/abs/2207.04881v1
• Date: Tue, 28 Jun 2022 10:01:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-17 19:45:04.866319
• Title: Simple and complex spiking neurons: perspectives and analysis in a simple STDP scenario
• Title（参考訳）: 単純で複雑なスパイクニューロン : 単純なSTDPシナリオにおける視点と解析
• Authors: Davide Liberato Manna, Alex Vicente Sola, Paul Kirkland, Trevor Bihl, Gaetano Di Caterina
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。 この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。 我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
• 参考スコア（独自算出の注目度）: 0.7829352305480283
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Spiking neural networks (SNNs) are largely inspired by biology and neuroscience and leverage ideas and theories to create fast and efficient learning systems. Spiking neuron models are adopted as core processing units in neuromorphic systems because they enable event-based processing. The integrate-and-fire (I&F) models are often adopted, with the simple Leaky I&F (LIF) being the most used. The reason for adopting such models is their efficiency and/or biological plausibility. Nevertheless, rigorous justification for adopting LIF over other neuron models for use in artificial learning systems has not yet been studied. This work considers various neuron models in the literature and then selects computational neuron models that are single-variable, efficient, and display different types of complexities. From this selection, we make a comparative study of three simple I&F neuron models, namely the LIF, the Quadratic I&F (QIF) and the Exponential I&F (EIF), to understand whether the use of more complex models increases the performance of the system and whether the choice of a neuron model can be directed by the task to be completed. Neuron models are tested within an SNN trained with Spike-Timing Dependent Plasticity (STDP) on a classification task on the N-MNIST and DVS Gestures datasets. Experimental results reveal that more complex neurons manifest the same ability as simpler ones to achieve high levels of accuracy on a simple dataset (N-MNIST), albeit requiring comparably more hyper-parameter tuning. However, when the data possess richer Spatio-temporal features, the QIF and EIF neuron models steadily achieve better results. This suggests that accurately selecting the model based on the richness of the feature spectrum of the data could improve the whole system's performance. Finally, the code implementing the spiking neurons in the SpykeTorch framework is made publicly available.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は主に生物学や神経科学に触発され、アイデアと理論を活用して高速で効率的な学習システムを構築する。 スパイキングニューロンモデルは、イベントベースの処理を可能にするため、ニューロモルフィックシステムのコア処理単位として採用されている。 I&F(Integration-and-fire)モデルはよく採用され、単純なLeaky I&F(LIF)が最も使われている。 このようなモデルを採用する理由は、その効率性や生物学的妥当性である。 それにもかかわらず、学習システムで使用する他のニューロンモデルよりもlifを採用するという厳密な正当化はまだ研究されていない。 この研究は、文献の中で様々なニューロンモデルを考察し、単変量、効率的、異なる種類の複雑度を示す計算ニューロンモデルを選択する。 この選択から, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上し, ニューロンモデルの選択が完了すべきタスクによって指示できるかどうかを考察する。 ニューロンモデルは、N-MNISTとDVS Gesturesデータセットの分類タスクにおいて、Spike-Timing Dependent Plasticity (STDP)でトレーニングされたSNN内でテストされる。 実験の結果、より複雑なニューロンは単純なデータセット(N-MNIST)で高いレベルの精度を達成するための単純なニューロンと同じ能力を示すことが明らかとなった。 しかし、データがよりリッチな時空間的特徴を持つ場合、QIF と EIF ニューロンモデルは着実により良い結果が得られる。 このことは、データの特徴スペクトルの豊かさに基づいてモデルを正確に選択することで、システム全体の性能を向上させることを示唆している。 最後に、spyketorchフレームワークでスパイクニューロンを実装するコードは、公開されている。

関連論文リスト

• Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
  大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。 最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。 我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
  論文  参考訳（メタデータ） (2024-03-18T09:55:01Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Event-Driven Tactile Learning with Various Location Spiking Neurons [5.822511654546528]
  イベント駆動学習は、既存のスパイキングニューロンの表現能力が限られているため、まだ初期段階にある。 イベントベースデータの特徴を新たな方法で抽出する「位置スパイクニューロン」モデルを提案する。 新たな位置スパイクニューロンを利用して、イベント駆動データにおける複雑な触覚・時間的依存を捉えるモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-09T14:49:27Z)
• Modelling Neuronal Behaviour with Time Series Regression: Recurrent Neural Networks on C. Elegans Data [0.0]
  我々は、C. Elegansの神経システムを、異なるニューラルネットワークアーキテクチャを用いてデータ駆動モデルでモデル化し、シミュレートする方法を示す。 隠れ層の大きさが4単位のGRUモデルでは,異なる刺激に対するシステムの応答を高精度に再現可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T10:39:30Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE [10.529943544385585]
  本稿では,潜在モデルと従来のニューラルエンコーディングモデルから重要な要素を統合する手法を提案する。 我々の手法であるpi-VAEは、同定可能な変分自動エンコーダの最近の進歩にインスパイアされている。 人工データを用いてpi-VAEを検証し,それをラット海馬およびマカク運動野の神経生理学的データセットの解析に応用した。
  論文  参考訳（メタデータ） (2020-11-09T22:00:38Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。