論文の概要: Learning Long Sequences in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2401.00955v1
- Date: Thu, 14 Dec 2023 13:30:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 12:18:45.652584
- Title: Learning Long Sequences in Spiking Neural Networks
- Title(参考訳): スパイクニューラルネットワークにおける長周期学習
- Authors: Matei Ioan Stan (The University of Manchester) and Oliver Rhodes (The
University of Manchester)
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。
トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spiking neural networks (SNNs) take inspiration from the brain to enable
energy-efficient computations. Since the advent of Transformers, SNNs have
struggled to compete with artificial networks on modern sequential tasks, as
they inherit limitations from recurrent neural networks (RNNs), with the added
challenge of training with non-differentiable binary spiking activations.
However, a recent renewed interest in efficient alternatives to Transformers
has given rise to state-of-the-art recurrent architectures named state space
models (SSMs). This work systematically investigates, for the first time, the
intersection of state-of-the-art SSMs with SNNs for long-range sequence
modelling. Results suggest that SSM-based SNNs can outperform the Transformer
on all tasks of a well-established long-range sequence modelling benchmark. It
is also shown that SSM-based SNNs can outperform current state-of-the-art SNNs
with fewer parameters on sequential image classification. Finally, a novel
feature mixing layer is introduced, improving SNN accuracy while challenging
assumptions about the role of binary activations in SNNs. This work paves the
way for deploying powerful SSM-based architectures, such as large language
models, to neuromorphic hardware for energy-efficient long-range sequence
modelling.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために脳からインスピレーションを得ている。
トランスフォーマーの出現以来、snsは、リカレントニューラルネットワーク(recurrent neural networks, rnns)の制限を継承し、非微分可能なバイナリスパイクアクティベーションによるトレーニングの課題として、現代的なシーケンシャルなタスクにおけるニューラルネットワークとの競合に苦しんだ。
しかし、トランスフォーマーの効率的な代替案に対する最近の関心は、状態空間モデル (SSMs) と呼ばれる最先端の繰り返しアーキテクチャの出現をもたらした。
この研究は、長距離シーケンスモデリングのための最先端SSMとSNNの交差を初めて体系的に調査する。
その結果、ssmベースのsnは、確立された長距離シーケンスモデリングベンチマークの全てのタスクにおいてトランスフォーマーを上回ることができることが示唆された。
また、ssmベースのsnは、逐次画像分類のパラメータの少ない現在のsnsを上回ることも示されている。
最後に、SNNにおけるバイナリアクティベーションの役割を仮定しながら、SNNの精度を向上させる新しい機能混合層を導入する。
この作業は、大きな言語モデルのような強力なssmベースのアーキテクチャを、エネルギー効率のよい長距離シーケンスモデリングのためのニューロモルフィックハードウェアに展開する道を開く。
関連論文リスト
- Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。
提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-04T09:07:09Z) - SLSSNN: High energy efficiency spike-train level spiking neural networks
with spatio-temporal conversion [3.6319679959540494]
脳スパイクニューロンネットワーク(SNN)は、低消費電力の特徴、高い生物学的可視性、強力な情報処理能力により、広く研究の関心を集めている。
計算コストが低く高精度なエネルギー効率の高いスパイクトレインレベルのスパイクニューラルネットワーク(SLSSNN)を提案する。
論文 参考訳(メタデータ) (2023-07-14T03:27:34Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Examining the Robustness of Spiking Neural Networks on Non-ideal
Memristive Crossbars [4.184276171116354]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
論文 参考訳(メタデータ) (2022-06-20T07:07:41Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Accurate and efficient time-domain classification with adaptive spiking
recurrent neural networks [1.8515971640245998]
スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。
本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
論文 参考訳(メタデータ) (2021-03-12T10:27:29Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳(メタデータ) (2021-02-28T12:04:22Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳(メタデータ) (2020-10-08T18:24:12Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object
Tracking [20.595208488431766]
SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。
SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
論文 参考訳(メタデータ) (2020-03-17T08:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。