論文の概要: Attention-free Spikformer: Mixing Spike Sequences with Simple Linear Transforms

• arxiv url: http://arxiv.org/abs/2308.02557v2
• Date: Thu, 17 Aug 2023 06:12:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 22:25:03.611032
• Title: Attention-free Spikformer: Mixing Spike Sequences with Simple Linear Transforms
• Title（参考訳）: attention-free spikformer:単純な線形変換によるスパイク列の混合
• Authors: Qingyu Wang, Duzhen Zhang, Tielin Zhang, Bo Xu
• Abstract要約: SpikformerはSNNの自己注意能力と生物学的特性を統合する Spiking Self-Attention (SSA)モジュールを導入し、スパイクフォームクエリ、キー、バリューを使ってスパースなビジュアル機能をミックスする。 我々はニューロモルフィックデータセットと静的データセットの両方を用いて画像分類に関する広範な実験を行った。
• 参考スコア（独自算出の注目度）: 16.54314950692779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By integrating the self-attention capability and the biological properties of Spiking Neural Networks (SNNs), Spikformer applies the flourishing Transformer architecture to SNNs design. It introduces a Spiking Self-Attention (SSA) module to mix sparse visual features using spike-form Query, Key, and Value, resulting in the State-Of-The-Art (SOTA) performance on numerous datasets compared to previous SNN-like frameworks. In this paper, we demonstrate that the Spikformer architecture can be accelerated by replacing the SSA with an unparameterized Linear Transform (LT) such as Fourier and Wavelet transforms. These transforms are utilized to mix spike sequences, reducing the quadratic time complexity to log-linear time complexity. They alternate between the frequency and time domains to extract sparse visual features, showcasing powerful performance and efficiency. We conduct extensive experiments on image classification using both neuromorphic and static datasets. The results indicate that compared to the SOTA Spikformer with SSA, Spikformer with LT achieves higher Top-1 accuracy on neuromorphic datasets (i.e., CIFAR10-DVS and DVS128 Gesture) and comparable Top-1 accuracy on static datasets (i.e., CIFAR-10 and CIFAR-100). Furthermore, Spikformer with LT achieves approximately 29-51% improvement in training speed, 61-70% improvement in inference speed, and reduces memory usage by 4-26% due to not requiring learnable parameters.
• Abstract（参考訳）: Spikformerは、自己注意能力とスパイキングニューラルネットワーク(SNN)の生物学的特性を統合することで、SNNの設計にトランスフォーマーアーキテクチャを応用した。 Spiking Self-Attention(SSA)モジュールを導入し、スパイクフォームクエリ、キー、バリューを使用してスパースなビジュアル機能をミックスすることで、以前のSNNライクなフレームワークと比較して、多数のデータセット上でのState-Of-The-Art(SOTA)パフォーマンスを実現する。 本稿では、SSAをフーリエ変換やウェーブレット変換のような非パラメータ化線形変換(LT)に置き換えることで、Spikformerアーキテクチャを高速化できることを実証する。 これらの変換はスパイク列の混合に利用され、二次時間複雑性を対数線形時間複雑性に還元する。 周波数と時間領域を交互に組み合わせて、疎い視覚的特徴を抽出し、強力な性能と効率を示す。 我々はニューロモルフィックと静的両方のデータセットを用いた画像分類実験を行った。 その結果、SOTA Spikformer と SSA と比較すると、LT の Spikformer はニューロモルフィックデータセット (CIFAR10-DVS と DVS128 Gesture) の Top-1 の精度が高く、静的データセット (CIFAR-10 と CIFAR-100) の Top-1 の精度に匹敵することがわかった。 さらに、LTのSpikformerはトレーニング速度を29～51%改善し、推論速度を61～70%改善し、学習可能なパラメータを必要としないためメモリ使用量を4～26%削減する。

関連論文リスト

• Spiking Wavelet Transformer [1.8712213089437697]
  スパイキングニューラルネットワーク(SNN)は、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 SNNの変換器は精度が保証されているが、高周波パターンの学習に苦労している。 本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T08:41:48Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency [9.545711665562715]
  スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。 現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。 我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
  論文  参考訳（メタデータ） (2023-05-23T15:50:07Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)
• Improving STDP-based Visual Feature Learning with Whitening [1.9981375888949475]
  本稿では,STDPで特徴を学習する前に,白化を前処理ステップとして用いることを提案する。 CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されている。 また,ニューロモルフィックハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
  論文  参考訳（メタデータ） (2020-02-24T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。