論文の概要: Spikformer V2: Join the High Accuracy Club on ImageNet with an SNN Ticket

• arxiv url: http://arxiv.org/abs/2401.02020v1
• Date: Thu, 4 Jan 2024 01:33:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 16:23:30.848560
• Title: Spikformer V2: Join the High Accuracy Club on ImageNet with an SNN Ticket
• Title（参考訳）: Spikformer V2: SNN TicketでImageNetの高精度クラブに参加
• Authors: Zhaokun Zhou, Kaiwei Che, Wei Fang, Keyu Tian, Yuesheng Zhu, Shuicheng Yan, Yonghong Tian, Li Yuan
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、限られたパフォーマンスの課題に直面している。 高性能変圧器の基礎となる自己保持機構は,既存のSNNでは欠落している。 スパイキング自己注意(SSA)とスパイキングトランスフォーマー(Spikformer)を提案する。
• 参考スコア（独自算出の注目度）: 81.9471033944819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs), known for their biologically plausible architecture, face the challenge of limited performance. The self-attention mechanism, which is the cornerstone of the high-performance Transformer and also a biologically inspired structure, is absent in existing SNNs. To this end, we explore the potential of leveraging both self-attention capability and biological properties of SNNs, and propose a novel Spiking Self-Attention (SSA) and Spiking Transformer (Spikformer). The SSA mechanism eliminates the need for softmax and captures the sparse visual feature employing spike-based Query, Key, and Value. This sparse computation without multiplication makes SSA efficient and energy-saving. Further, we develop a Spiking Convolutional Stem (SCS) with supplementary convolutional layers to enhance the architecture of Spikformer. The Spikformer enhanced with the SCS is referred to as Spikformer V2. To train larger and deeper Spikformer V2, we introduce a pioneering exploration of Self-Supervised Learning (SSL) within the SNN. Specifically, we pre-train Spikformer V2 with masking and reconstruction style inspired by the mainstream self-supervised Transformer, and then finetune the Spikformer V2 on the image classification on ImageNet. Extensive experiments show that Spikformer V2 outperforms other previous surrogate training and ANN2SNN methods. An 8-layer Spikformer V2 achieves an accuracy of 80.38% using 4 time steps, and after SSL, a 172M 16-layer Spikformer V2 reaches an accuracy of 81.10% with just 1 time step. To the best of our knowledge, this is the first time that the SNN achieves 80+% accuracy on ImageNet. The code will be available at Spikformer V2.
• Abstract（参考訳）: 生物学的に妥当なアーキテクチャで知られるスパイキングニューラルネットワーク(SNN)は、限られた性能の課題に直面している。 高性能変圧器の基礎であり、生物学的にインスパイアされた構造である自己付着機構は、既存のsnsには存在していない。 そこで本研究では,SNNの自己認識能力と生物学的特性の両面を活用する可能性を探り,SSA(Spike Self-Attention)とSpikformer(Spikformer)を提案する。 SSAメカニズムは、Softmaxの必要性を排除し、スパイクベースのQuery、Key、Valueを使ったスパースビジュアル機能をキャプチャする。 乗算のないこのスパース計算は、SSAを効率的かつ省エネにする。 さらに,スパイクフォーマーのアーキテクチャを向上させるために,補足的な畳み込み層を有するスパイキング畳み込みステム(scs)を開発する。 SCSで強化されたSpikformerはSpikformer V2と呼ばれる。 より大きく深いSpikformer V2をトレーニングするために、SNN内での自己監視学習(SSL)の先駆的な探索を紹介します。 具体的には、メインストリームの自己教師型トランスフォーマーにインスパイアされたマスクと再構築スタイルを備えたSpikformer V2を事前訓練し、ImageNetの画像分類でSpikformer V2を微調整する。 広範な実験により、spikformer v2は他のサーロゲートトレーニングやann2snn法よりも優れていることが示されている。 8層スパイクフォーマーV2は4つのタイムステップを使用して80.38%の精度を達成し、SSL後、172M16層スパイクフォーマーV2は1つのタイムステップで81.10%の精度に達する。 私たちの知る限りでは、SNNがImageNetで80%以上の精度を達成したのはこれが初めてです。 コードはspikformer v2で利用可能になる。

関連論文リスト

• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Attention-free Spikformer: Mixing Spike Sequences with Simple Linear Transforms [16.54314950692779]
  SpikformerはSNNの自己注意能力と生物学的特性を統合する Spiking Self-Attention (SSA)モジュールを導入し、スパイクフォームクエリ、キー、バリューを使ってスパースなビジュアル機能をミックスする。 我々はニューロモルフィックデータセットと静的データセットの両方を用いて画像分類に関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T11:41:54Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
  自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。 最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
  論文  参考訳（メタデータ） (2023-06-01T15:35:26Z)
• Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network [19.932683405796126]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。 SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。 我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
  論文  参考訳（メタデータ） (2023-04-24T09:44:24Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spiking CapsNet: A Spiking Neural Network With A Biologically Plausible Routing Rule Between Capsules [9.658836348699161]
  スパイキングニューラルネットワーク(SNN)は、その強力な時間情報表現能力により、多くの注目を集めている。 CapsNetは、さまざまなレベルの組み立てと結合でうまく機能する。 ニューラルネットワークのモデリングにカプセルを導入することで、Spking CapsNetを提案する。
  論文  参考訳（メタデータ） (2021-11-15T14:23:15Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。