論文の概要: Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2412.13553v1
• Date: Wed, 18 Dec 2024 07:07:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:48:57.755626
• Title: Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの高精度かつ効率的な性能のための集合注意と変圧器アーキテクチャの組み合わせ
• Authors: Hangming Zhang, Alexander Sboev, Roman Rybka, Qiang Yu,
• Abstract要約: 近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。 トランスフォーマーモデルは、強力な自己アテンション機構と並列処理能力で知られており、様々な領域で例外的な性能を示している。 SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。
• 参考スコア（独自算出の注目度）: 44.145870290310356
• License:
• Abstract: Spiking Neural Networks have attracted significant attention in recent years due to their distinctive low-power characteristics. Meanwhile, Transformer models, known for their powerful self-attention mechanisms and parallel processing capabilities, have demonstrated exceptional performance across various domains, including natural language processing and computer vision. Despite the significant advantages of both SNNs and Transformers, directly combining the low-power benefits of SNNs with the high performance of Transformers remains challenging. Specifically, while the sparse computing mode of SNNs contributes to reduced energy consumption, traditional attention mechanisms depend on dense matrix computations and complex softmax operations. This reliance poses significant challenges for effective execution in low-power scenarios. Given the tremendous success of Transformers in deep learning, it is a necessary step to explore the integration of SNNs and Transformers to harness the strengths of both. In this paper, we propose a novel model architecture, Spike Aggregation Transformer (SAFormer), that integrates the low-power characteristics of SNNs with the high-performance advantages of Transformer models. The core contribution of SAFormer lies in the design of the Spike Aggregated Self-Attention (SASA) mechanism, which significantly simplifies the computation process by calculating attention weights using only the spike matrices query and key, thereby effectively reducing energy consumption. Additionally, we introduce a Depthwise Convolution Module (DWC) to enhance the feature extraction capabilities, further improving overall accuracy. We evaluated and demonstrated that SAFormer outperforms state-of-the-art SNNs in both accuracy and energy consumption, highlighting its significant advantages in low-power and high-performance computing.
• Abstract（参考訳）: 近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。 一方、トランスフォーマーモデルは、強力な自己認識機構と並列処理能力で知られており、自然言語処理やコンピュータビジョンなど、様々な領域で例外的な性能を示している。 SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。 具体的には、SNNのスパース計算モードはエネルギー消費の削減に寄与するが、従来の注意機構は密度行列計算や複雑なソフトマックス演算に依存する。 この依存は、低消費電力のシナリオで効果的な実行に重大な課題をもたらす。 ディープラーニングにおけるトランスフォーマーの驚異的な成功を考えると、両者の強みを活用するためにSNNとトランスフォーマーの統合を検討するためには、必要なステップである。 本稿では,SNNの低消費電力特性とトランスフォーマーモデルの高性能化を両立させる新しいモデルアーキテクチャであるSAFormerを提案する。 SAFormerのコアコントリビューションはSpike Aggregated Self-Attention (SASA) 機構の設計にある。これはスパイク行列クエリとキーのみを用いて注意重みを計算し、計算処理を大幅に単純化することで、エネルギー消費を効果的に削減する。 さらに、DWC(Depthwise Convolution Module)を導入し、機能抽出機能を強化し、全体的な精度を向上させる。 我々は,SAFormerが精度とエネルギー消費の両方で最先端のSNNよりも優れており,低消費電力・高性能コンピューティングにおいてその大きな利点を浮き彫りにしていることを示した。

関連論文リスト

• ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks [2.9699290794642366]
  ARTEMISは、トランスフォーマーモデルのための混合アナログ確率型インDRAMアクセラレータである。 解析の結果、ARTEMISはGPU、TPU、CPU、最先端のPIMトランスハードウェアアクセラレータと比較して、少なくとも3.0倍のスピードアップ、1.8倍のエネルギー、そして1.9倍のエネルギー効率を示した。
  論文  参考訳（メタデータ） (2024-07-17T15:08:14Z)
• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• AutoST: Training-free Neural Architecture Search for Spiking Transformers [14.791412391584064]
  スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。 既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。 我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
  論文  参考訳（メタデータ） (2023-07-01T10:19:52Z)
• Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
  自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。 最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
  論文  参考訳（メタデータ） (2023-06-01T15:35:26Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
  パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。 本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。 本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-08T16:25:20Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。