論文の概要: Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2304.11954v2
• Date: Tue, 9 May 2023 06:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 15:40:04.733689
• Title: Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network
• Title（参考訳）: Spikingformer: トランスフォーマーに基づくスパイクニューラルネットワークのためのスパイク駆動残差学習
• Authors: Chenlin Zhou, Liutao Yu, Zhaokun Zhou, Zhengyu Ma, Han Zhang, Huihui Zhou, Yonghong Tian
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。 SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。 我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
• 参考スコア（独自算出の注目度）: 19.932683405796126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) offer a promising energy-efficient alternative to artificial neural networks, due to their event-driven spiking computation. However, state-of-the-art deep SNNs (including Spikformer and SEW ResNet) suffer from non-spike computations (integer-float multiplications) caused by the structure of their residual connection. These non-spike computations increase SNNs' power consumption and make them unsuitable for deployment on mainstream neuromorphic hardware, which only supports spike operations. In this paper, we propose a hardware-friendly spike-driven residual learning architecture for SNNs to avoid non-spike computations. Based on this residual design, we develop Spikingformer, a pure transformer-based spiking neural network. We evaluate Spikingformer on ImageNet, CIFAR10, CIFAR100, CIFAR10-DVS and DVS128 Gesture datasets, and demonstrate that Spikingformer outperforms the state-of-the-art in directly trained pure SNNs as a novel advanced backbone (75.85$\%$ top-1 accuracy on ImageNet, + 1.04$\%$ compared with Spikformer). Furthermore, our experiments verify that Spikingformer effectively avoids non-spike computations and significantly reduces energy consumption by 57.34$\%$ compared with Spikformer on ImageNet. To our best knowledge, this is the first time that a pure event-driven transformer-based SNN has been developed.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパイキング計算のために、人工ニューラルネットワークに代わる有望なエネルギー効率を提供する。 しかし、現在最先端の深層SNN(SpikformerやSEW ResNetなど)は、その残余接続構造に起因する非スパイク計算(整数-フロート乗法)に悩まされている。 これらの非スパイク計算はSNNの消費電力を増大させ、スパイク操作のみをサポートする主流のニューロモルフィックハードウェアへの展開に適さないものにする。 本稿では,非スパイク計算を回避するため,SNNのためのハードウェアフレンドリーなスパイク駆動残差学習アーキテクチャを提案する。 この残差設計に基づき、純粋なトランスベースのスパイキングニューラルネットワークであるspikingformerを開発した。 我々は、ImageNet, CIFAR10, CIFAR100, CIFAR10-DVS, DVS128 Gestureデータセット上でSpkingformerを評価し、Spkingformerが、新しい高度なバックボーンとして、直接訓練された純粋なSNNの最先端技術よりも優れていることを示した。 さらに,spikingformer は非スパイク計算を効果的に回避し,imagenet の spikformer と比較して 57.34$\%$ のエネルギー消費を大幅に削減できることを確認した。 私たちの知る限りでは、純粋なイベント駆動トランスフォーマーベースのSNNが開発されたのは今回が初めてです。

関連論文リスト

• AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network [4.525951256256855]
  AT-SNNは、直接トレーニングでSNNベースのViTで推論中に処理されるトークンの数を動的に調整するように設計されている。 我々は,AT-SNNが画像分類タスクにおける最先端手法と比較して,高エネルギー効率と精度を実現する上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:06:18Z)
• SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer [12.717450255837178]
  スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点がある。 最も先進的なSNNであるSpikformerは、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。 本稿では,SparseSpikformerについて紹介する。SparseSpikformerはトークンとウェイトプルーニング技術を用いてSparseSpikformerのスパーシ性を実現するための共同設計フレームワークである。
  論文  参考訳（メタデータ） (2023-11-15T09:22:52Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)
• Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
  スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。 本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。 角速度回帰を行うためにSNNをうまく訓練できることが示される。
  論文  参考訳（メタデータ） (2020-03-05T17:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。