論文の概要: Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips

• arxiv url: http://arxiv.org/abs/2404.03663v1
• Date: Thu, 15 Feb 2024 13:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 12:08:31.209215
• Title: Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips
• Title（参考訳）: スパイク駆動型トランスフォーマーV2:次世代ニューロモルフィックチップの設計を刺激するメタスパイクニューラルネットワークアーキテクチャ
• Authors: Man Yao, Jiakui Hu, Tianxiang Hu, Yifan Xu, Zhaokun Zhou, Yonghong Tian, Bo Xu, Guoqi Li,
• Abstract要約: ニューロモルフィックコンピューティングは、ニューロモルフィックチップ上でスパイキングニューラルネットワーク(SNN)を利用する。 CNNベースのSNNは、現在のニューロモルフィックコンピューティングの主流である。 特にトランスフォーマーベースのSNN向けには、ニューロモルフィックチップは設計されていない。
• 参考スコア（独自算出の注目度）: 37.305308839310136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuromorphic computing, which exploits Spiking Neural Networks (SNNs) on neuromorphic chips, is a promising energy-efficient alternative to traditional AI. CNN-based SNNs are the current mainstream of neuromorphic computing. By contrast, no neuromorphic chips are designed especially for Transformer-based SNNs, which have just emerged, and their performance is only on par with CNN-based SNNs, offering no distinct advantage. In this work, we propose a general Transformer-based SNN architecture, termed as ``Meta-SpikeFormer", whose goals are: 1) Lower-power, supports the spike-driven paradigm that there is only sparse addition in the network; 2) Versatility, handles various vision tasks; 3) High-performance, shows overwhelming performance advantages over CNN-based SNNs; 4) Meta-architecture, provides inspiration for future next-generation Transformer-based neuromorphic chip designs. Specifically, we extend the Spike-driven Transformer in \citet{yao2023spike} into a meta architecture, and explore the impact of structure, spike-driven self-attention, and skip connection on its performance. On ImageNet-1K, Meta-SpikeFormer achieves 80.0\% top-1 accuracy (55M), surpassing the current state-of-the-art (SOTA) SNN baselines (66M) by 3.7\%. This is the first direct training SNN backbone that can simultaneously supports classification, detection, and segmentation, obtaining SOTA results in SNNs. Finally, we discuss the inspiration of the meta SNN architecture for neuromorphic chip design. Source code and models are available at \url{https://github.com/BICLab/Spike-Driven-Transformer-V2}.
• Abstract（参考訳）: ニューロモーフィック・コンピューティングは、ニューロモーフィック・チップ上でスパイキング・ニューラルネットワーク(SNN)を利用するが、従来のAIに代わる有望なエネルギー効率の代替手段である。 CNNベースのSNNは、現在のニューロモルフィックコンピューティングの主流である。 対照的に、トランスフォーマーベースのSNNでは特にニューロモルフィックチップは設計されておらず、その性能はCNNベースのSNNと同等であり、明確な利点はない。 本稿では,「Meta-SpikeFormer」と呼ばれる汎用トランスフォーマーベースのSNNアーキテクチャを提案する。 1)低消費電力は,ネットワークにスパース追加のみが存在するというスパイク駆動パラダイムを支持する。 2)Versatility, handles various vision task, 3)高性能はCNNベースのSNNに比べて圧倒的な性能上の優位性を示す。 4)メタアーキテクチャは、次世代のTransformerベースのニューロモルフィックチップの設計にインスピレーションを与える。 具体的には, \citet{yao2023spike} の Spike-driven Transformer をメタアーキテクチャに拡張し, 構造, スパイク駆動型自己注意, 接続が性能に与える影響について検討する。 ImageNet-1Kでは、Meta-SpikeFormerは80.0\%のトップ-1精度(55M)を達成し、現在の最先端(SOTA)SNNベースライン(66M)を3.7\%上回る。 分類、検出、セグメンテーションを同時にサポートし、SNNでSOTA結果を取得することができる最初の直接トレーニングSNNバックボーンである。 最後に、ニューロモルフィックチップ設計のためのメタSNNアーキテクチャのインスピレーションについて議論する。 ソースコードとモデルは \url{https://github.com/BICLab/Spike-Driven-Transformer-V2} で入手できる。

関連論文リスト

• Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training [17.193023656793464]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)の野望は、従来のニューラルネットワーク(ANN)に代わる低消費電力な代替手段になることである。 この作業は、SNNとANNのパフォーマンスギャップと、SNNの高トレーニングコストという、このビジョンを実現する上での2つの大きな課題に対処する。 本研究では,2次発火機構によるスパイクニューロンの固有の欠陥を同定し,整数学習とスパイク駆動推論を用いたスパイクフィリング近似(SFA)法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T03:05:41Z)
• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection [15.154553304520164]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)に対するバイオプラウと低消費電力のアドバンテージを持つ 本研究では,オブジェクト検出におけるANNとSNNのパフォーマンスギャップを埋めることに焦点を当てる。 我々は,バニラYOLOを単純化し,メタSNNブロックを組み込むことで,この問題を解決するためにSpikeYOLOアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-07-30T10:04:16Z)
• OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
  設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。 本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。 この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
  論文  参考訳（メタデータ） (2024-03-21T14:06:38Z)
• Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
  スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。 本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-13T06:39:49Z)
• Spikeformer: A Novel Architecture for Training High-Performance Low-Latency Spiking Neural Network [6.8125324121155275]
  静的データセットとニューロモルフィックデータセットの両方において,トランスフォーマーをベースとした新しいSNNであるSpikeformerを提案する。 注目すべきは、SpikeformerはImageNet上の他のSNNよりも大きなマージン(5%以上)で、DVS-GestureとImageNetでANNよりも3.1%、そして2.2%高いパフォーマンスである。
  論文  参考訳（メタデータ） (2022-11-19T12:49:22Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
  論文  参考訳（メタデータ） (2021-11-10T21:29:19Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。