論文の概要: PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing

• arxiv url: http://arxiv.org/abs/2408.14917v1
• Date: Tue, 27 Aug 2024 09:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 14:13:27.293625
• Title: PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing
• Title（参考訳）: PMSN:マルチスケール時間処理のための並列マルチコンパートメントスパイクニューロン
• Authors: Xinyi Chen, Jibin Wu, Chenxiang Ma, Yinsong Yan, Yujie Wu, Kay Chen Tan,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の高い計算システムを実現する大きな可能性を秘めている。 PMSN(Parallel Multi-compartment Spiking Neuron)と呼ばれる新しいスパイキングニューロンモデルを提案する。 PMSNは、複数の相互作用するサブ構造を組み込んで生物学的ニューロンをエミュレートし、サブ構造数の柔軟な調整を可能にする。
• 参考スコア（独自算出の注目度）: 22.1268533721837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) hold great potential to realize brain-inspired, energy-efficient computational systems. However, current SNNs still fall short in terms of multi-scale temporal processing compared to their biological counterparts. This limitation has resulted in poor performance in many pattern recognition tasks with information that varies across different timescales. To address this issue, we put forward a novel spiking neuron model called Parallel Multi-compartment Spiking Neuron (PMSN). The PMSN emulates biological neurons by incorporating multiple interacting substructures and allows for flexible adjustment of the substructure counts to effectively represent temporal information across diverse timescales. Additionally, to address the computational burden associated with the increased complexity of the proposed model, we introduce two parallelization techniques that decouple the temporal dependencies of neuronal updates, enabling parallelized training across different time steps. Our experimental results on a wide range of pattern recognition tasks demonstrate the superiority of PMSN. It outperforms other state-of-the-art spiking neuron models in terms of its temporal processing capacity, training speed, and computation cost. Specifically, compared with the commonly used Leaky Integrate-and-Fire neuron, PMSN offers a simulation acceleration of over 10 $\times$ and a 30 % improvement in accuracy on Sequential CIFAR10 dataset, while maintaining comparable computational cost.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の高い計算システムを実現する大きな可能性を秘めている。 しかし、現在のSNNは、生物学的に比較すると、マルチスケールの時間処理では依然として不足している。 この制限により、多くのパターン認識タスクにおいて、異なる時間スケールで異なる情報を持つパフォーマンスが低下した。 この問題に対処するため,我々はParallel Multi-compartment Spiking Neuron (PMSN)と呼ばれる新しいスパイクニューロンモデルを提案した。 PMSNは、複数の相互作用するサブストラクチャを組み込んで生物学的ニューロンをエミュレートし、サブストラクチャの数を柔軟に調整することで、様々な時間スケールで時間情報を効果的に表現することができる。 さらに,提案モデルの複雑さの増加に伴う計算負担に対処するため,ニューロン更新の時間依存性を分離し,異なる時間ステップで並列化トレーニングを可能にする2つの並列化手法を提案する。 パターン認識タスクの多岐にわたる実験結果から,PMSNの優位性が確認された。 他の最先端のスパイクニューロンモデルよりも、時間的処理能力、トレーニング速度、計算コストに優れています。 具体的には、一般的に使用されているLeaky Integrate-and-Fireニューロンと比較して、PMSNは、計算コストを同等に保ちながら、Sequential CIFAR10データセット上で10$\times$と30%の精度でシミュレーションアクセラレーションを提供する。

関連論文リスト

• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• A frugal Spiking Neural Network for unsupervised classification of continuous multivariate temporal data [0.0]
  スパイキングニューラルネットワーク(SNN)は神経型であり、進化する膜電位を持つより生物学的に可塑性なニューロンを使用する。 本稿では,連続データにおける多変量時間パターンの完全教師なし識別と分類のために設計されたFragal Single-layer SNNを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T08:15:51Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL [28.948871773551854]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率と高速推論能力のため、様々な分野に広く応用されている。 現在のスパイキング強化学習(SRL)アルゴリズムでは、複数の時間ステップのシミュレーション結果がRLの単一ステップ決定にしか対応しない。 本稿では、スパイキングニューロンの単一ステップ更新を利用して、RLの歴史的状態情報を蓄積する新しい時間的アライメントパラダイム(TAP)を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:20:50Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks [14.992756670960008]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。 深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
  論文  参考訳（メタデータ） (2020-02-24T05:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。