論文の概要: Spikformer: When Spiking Neural Network Meets Transformer

• arxiv url: http://arxiv.org/abs/2209.15425v1
• Date: Thu, 29 Sep 2022 14:16:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 14:05:37.178800
• Title: Spikformer: When Spiking Neural Network Meets Transformer
• Title（参考訳）: Spikformer: ニューラルネットワークがトランスフォーマーと出会うとき
• Authors: Zhaokun Zhou, Yuesheng Zhu, Chao He, Yaowei Wang, Shuicheng Yan, Yonghong Tian, Li Yuan
• Abstract要約: 本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 102.91330530210037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider two biologically plausible structures, the Spiking Neural Network (SNN) and the self-attention mechanism. The former offers an energy-efficient and event-driven paradigm for deep learning, while the latter has the ability to capture feature dependencies, enabling Transformer to achieve good performance. It is intuitively promising to explore the marriage between them. In this paper, we consider leveraging both self-attention capability and biological properties of SNNs, and propose a novel Spiking Self Attention (SSA) as well as a powerful framework, named Spiking Transformer (Spikformer). The SSA mechanism in Spikformer models the sparse visual feature by using spike-form Query, Key, and Value without softmax. Since its computation is sparse and avoids multiplication, SSA is efficient and has low computational energy consumption. It is shown that Spikformer with SSA can outperform the state-of-the-art SNNs-like frameworks in image classification on both neuromorphic and static datasets. Spikformer (66.3M parameters) with comparable size to SEW-ResNet-152 (60.2M,69.26%) can achieve 74.81% top1 accuracy on ImageNet using 4 time steps, which is the state-of-the-art in directly trained SNNs models.
• Abstract（参考訳）: 我々は,spyking neural network (snn) と self-attention mechanism の2つの生物学的に妥当な構造について考察する。 前者はディープラーニングのためのエネルギ効率とイベント駆動のパラダイムを提供し、後者は機能依存性をキャプチャし、transformerが優れたパフォーマンスを達成することができる。 夫婦の結婚を探究することは直感的に有望である。 本稿では,snsの自己着脱能力と生物学的特性の両立を検討するとともに,spiking transformer (spikformer) という強力な枠組みとともに,新しいspiking self attention (ssa) を提案する。 SpikformerのSSAメカニズムは、スパイクフォームクエリ、キー、バリューをソフトマックスなしで使用することで、スパース視覚特徴をモデル化する。 計算はスパースであり、乗算を避けるため、SSAは効率的で計算エネルギー消費が少ない。 SSAを用いたSpikformerは、ニューロモルフィックと静的両方のデータセットのイメージ分類において、最先端のSNNのようなフレームワークよりも優れていることが示されている。 sew-resnet-152(60.2m,69.26%)と同サイズのspikformer(66.3mパラメータ)は、4つの時間ステップを使用してimagenetで74.81%のtop1精度を達成できる。

関連論文リスト

• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• Spikformer V2: Join the High Accuracy Club on ImageNet with an SNN Ticket [81.9471033944819]
  スパイキングニューラルネットワーク(SNN)は、限られたパフォーマンスの課題に直面している。 高性能変圧器の基礎となる自己保持機構は,既存のSNNでは欠落している。 スパイキング自己注意(SSA)とスパイキングトランスフォーマー(Spikformer)を提案する。
  論文  参考訳（メタデータ） (2024-01-04T01:33:33Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Attention-free Spikformer: Mixing Spike Sequences with Simple Linear Transforms [16.54314950692779]
  SpikformerはSNNの自己注意能力と生物学的特性を統合する Spiking Self-Attention (SSA)モジュールを導入し、スパイクフォームクエリ、キー、バリューを使ってスパースなビジュアル機能をミックスする。 我々はニューロモルフィックデータセットと静的データセットの両方を用いて画像分類に関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T11:41:54Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
  自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。 最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
  論文  参考訳（メタデータ） (2023-06-01T15:35:26Z)
• Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network [19.932683405796126]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。 SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。 我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
  論文  参考訳（メタデータ） (2023-04-24T09:44:24Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。