論文の概要: Learning Long Sequences in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2401.00955v1
• Date: Thu, 14 Dec 2023 13:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 12:18:45.652584
• Title: Learning Long Sequences in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける長周期学習
• Authors: Matei Ioan Stan (The University of Manchester) and Oliver Rhodes (The University of Manchester)
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。 トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spiking neural networks (SNNs) take inspiration from the brain to enable energy-efficient computations. Since the advent of Transformers, SNNs have struggled to compete with artificial networks on modern sequential tasks, as they inherit limitations from recurrent neural networks (RNNs), with the added challenge of training with non-differentiable binary spiking activations. However, a recent renewed interest in efficient alternatives to Transformers has given rise to state-of-the-art recurrent architectures named state space models (SSMs). This work systematically investigates, for the first time, the intersection of state-of-the-art SSMs with SNNs for long-range sequence modelling. Results suggest that SSM-based SNNs can outperform the Transformer on all tasks of a well-established long-range sequence modelling benchmark. It is also shown that SSM-based SNNs can outperform current state-of-the-art SNNs with fewer parameters on sequential image classification. Finally, a novel feature mixing layer is introduced, improving SNN accuracy while challenging assumptions about the role of binary activations in SNNs. This work paves the way for deploying powerful SSM-based architectures, such as large language models, to neuromorphic hardware for energy-efficient long-range sequence modelling.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために脳からインスピレーションを得ている。 トランスフォーマーの出現以来、snsは、リカレントニューラルネットワーク(recurrent neural networks, rnns)の制限を継承し、非微分可能なバイナリスパイクアクティベーションによるトレーニングの課題として、現代的なシーケンシャルなタスクにおけるニューラルネットワークとの競合に苦しんだ。 しかし、トランスフォーマーの効率的な代替案に対する最近の関心は、状態空間モデル (SSMs) と呼ばれる最先端の繰り返しアーキテクチャの出現をもたらした。 この研究は、長距離シーケンスモデリングのための最先端SSMとSNNの交差を初めて体系的に調査する。 その結果、ssmベースのsnは、確立された長距離シーケンスモデリングベンチマークの全てのタスクにおいてトランスフォーマーを上回ることができることが示唆された。 また、ssmベースのsnは、逐次画像分類のパラメータの少ない現在のsnsを上回ることも示されている。 最後に、SNNにおけるバイナリアクティベーションの役割を仮定しながら、SNNの精度を向上させる新しい機能混合層を導入する。 この作業は、大きな言語モデルのような強力なssmベースのアーキテクチャを、エネルギー効率のよい長距離シーケンスモデリングのためのニューロモルフィックハードウェアに展開する道を開く。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
  長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。 樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。 そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T09:35:49Z)
• Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network [10.760652747217668]
  スパイキングニューラルネットワーク(SNN)は、神経科学のメカニズムをシミュレートするために、多分野の領域で研究されている。 離散理論の欠如は、その性能と非線形性のサポートを制限することによって、SNNの実用化を妨げている。 我々は、スパイキングニューロンの離散力学の新しい最適化理論的視点を示す。
  論文  参考訳（メタデータ） (2024-07-01T02:09:20Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks [1.8515971640245998]
  スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。 本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
  論文  参考訳（メタデータ） (2021-03-12T10:27:29Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking [20.595208488431766]
  SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。 SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
  論文  参考訳（メタデータ） (2020-03-17T08:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。