論文の概要: SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2403.14302v1
• Date: Thu, 21 Mar 2024 11:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:38:14.955463
• Title: SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks
• Title（参考訳）: Spiking Resformer:スパイクニューラルネットワークにおけるブリッジ型ResNetとVision Transformer
• Authors: Xinyu Shi, Zecheng Hao, Zhaofei Yu,
• Abstract要約: そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
• 参考スコア（独自算出の注目度）: 22.665939536001797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable success of Vision Transformers in Artificial Neural Networks (ANNs) has led to a growing interest in incorporating the self-attention mechanism and transformer-based architecture into Spiking Neural Networks (SNNs). While existing methods propose spiking self-attention mechanisms that are compatible with SNNs, they lack reasonable scaling methods, and the overall architectures proposed by these methods suffer from a bottleneck in effectively extracting local features. To address these challenges, we propose a novel spiking self-attention mechanism named Dual Spike Self-Attention (DSSA) with a reasonable scaling method. Based on DSSA, we propose a novel spiking Vision Transformer architecture called SpikingResformer, which combines the ResNet-based multi-stage architecture with our proposed DSSA to improve both performance and energy efficiency while reducing parameters. Experimental results show that SpikingResformer achieves higher accuracy with fewer parameters and lower energy consumption than other spiking Vision Transformer counterparts. Notably, our SpikingResformer-L achieves 79.40% top-1 accuracy on ImageNet with 4 time-steps, which is the state-of-the-art result in the SNN field.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)におけるビジョントランスフォーマー(Vision Transformers)の成功により、自己認識機構とトランスフォーマーベースのアーキテクチャをスパイキングニューラルネットワーク(SNN)に組み込むことへの関心が高まっている。 既存の手法ではSNNと互換性のある自己注意機構が提案されているが、適切なスケーリング手法が欠如しており、これらの手法によって提案される全体的なアーキテクチャは、局所的な特徴を効果的に抽出するボトルネックに悩まされている。 これらの課題に対処するため、我々はDual Spike Self-Attention (DSSA) という新しい自己注意機構を合理的なスケーリング手法で提案する。 DSSAに基づいて,ResNetベースのマルチステージアーキテクチャとDSSAを組み合わせた新しいスパイキングビジョントランスフォーマアーキテクチャを提案する。 実験結果から,SpkingResformerは,他のスパイキングビジョントランスよりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることがわかった。 特に、私たちのSpkingResformer-Lは、4つのタイムステップを持つImageNet上で79.40%のトップ-1の精度を実現しています。

関連論文リスト

• Spiking-PhysFormer: Camera-Based Remote Photoplethysmography with Parallel Spike-driven Transformer [15.08113674331192]
  スパイキングネットワーク(SNN)は、エネルギー効率のよいディープラーニングの可能性を秘めている。 本稿では,消費電力削減を目的としたハイブリッドニューラルネットワーク(HNN)モデルであるSpking-PhysFormerを提案する。 提案モデルでは,PhysFormerと比較して12.4%の消費電力削減を実現している。
  論文  参考訳（メタデータ） (2024-02-07T12:38:47Z)
• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks [1.632439547798896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替として登場した。 本稿では,SNN変換フレームワークの確立により,SNNの性能向上と効率向上という2つの目的に対処することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-24T03:43:59Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• AutoST: Training-free Neural Architecture Search for Spiking Transformers [14.791412391584064]
  スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。 既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。 我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
  論文  参考訳（メタデータ） (2023-07-01T10:19:52Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
  自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。 最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
  論文  参考訳（メタデータ） (2023-06-01T15:35:26Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。