論文の概要: Masked Spiking Transformer

• arxiv url: http://arxiv.org/abs/2210.01208v2
• Date: Mon, 17 Jul 2023 14:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 00:18:34.936809
• Title: Masked Spiking Transformer
• Title（参考訳）: マスクスパイキング変圧器
• Authors: Ziqing Wang, Yuetong Fang, Jiahang Cao, Qiang Zhang, Zhongrui Wang, Renjing Xu
• Abstract要約: スパイキングニューラルネットワーク(SNN)とトランスフォーマーは、高エネルギー効率と高性能な性質の可能性を秘めている。 本稿では,SNN と Transformer を組み合わせた ANN-to-SNN 変換手法の利点を活用することを提案する。 本研究では、ランダムスパイク・マスキング(RSM)手法を取り入れた新しいマスケプ・スパイク・トランスフォーマー・フレームワークを導入し、余剰スパイクを発生させ、性能を犠牲にすることなくエネルギー消費を低減させる。
• 参考スコア（独自算出の注目度）: 6.862877794199617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of Spiking Neural Networks (SNNs) and Transformers has attracted significant attention due to their potential for high energy efficiency and high-performance nature. However, existing works on this topic typically rely on direct training, which can lead to suboptimal performance. To address this issue, we propose to leverage the benefits of the ANN-to-SNN conversion method to combine SNNs and Transformers, resulting in significantly improved performance over existing state-of-the-art SNN models. Furthermore, inspired by the quantal synaptic failures observed in the nervous system, which reduces the number of spikes transmitted across synapses, we introduce a novel Masked Spiking Transformer (MST) framework that incorporates a Random Spike Masking (RSM) method to prune redundant spikes and reduce energy consumption without sacrificing performance. Our experimental results demonstrate that the proposed MST model achieves a significant reduction of 26.8% in power consumption when the masking ratio is 75% while maintaining the same level of performance as the unmasked model.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)とトランスフォーマーの組み合わせは、高エネルギー効率と高性能性の可能性から注目されている。 しかしながら、このトピックに関する既存の作業は、通常、直接トレーニングに依存しており、それが最適でないパフォーマンスにつながる可能性がある。 そこで本研究では,SNN と Transformer を組み合わせた ANN-to-SNN 変換手法の利点を活用することを提案する。 さらに、神経系で観測される量子シナプス障害の影響を受け、シナプス間を伝播するスパイクの数を減少させるため、ランダムスパイク・マスク・マスキング(RSM)法を組み込んだ新しいMasked Spiking Transformer(MST)フレームワークを導入し、余剰スパイクを誘発し、性能を犠牲にすることなくエネルギー消費を削減した。 実験の結果,マスク比が75%の場合に,MSTモデルが26.8%の消費電力削減を実現し,マスキングモデルと同等の性能を維持した。

関連論文リスト

• Multi-Bit Mechanism: A Novel Information Transmission Paradigm for Spiking Neural Networks [4.552065156611815]
  スパイクニューラルネットワーク(SNN)は、高性能、低消費電力、生物学的解釈性の向上に対して認識される。 現在、スパイクのバイナリの性質はSNNにかなりの情報損失をもたらし、最終的にパフォーマンスが低下している。 本研究では,SNNのためのマルチビット情報伝送機構を提案する。
  論文  参考訳（メタデータ） (2024-07-08T08:46:31Z)
• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks [1.632439547798896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替として登場した。 本稿では,SNN変換フレームワークの確立により,SNNの性能向上と効率向上という2つの目的に対処することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-24T03:43:59Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators through Training with Right-Censored Gaussian Noise [16.470952550714394]
  我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。 本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
  論文  参考訳（メタデータ） (2023-07-29T01:06:37Z)
• MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering [66.05768870785548]
  微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。 現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。 低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
  論文  参考訳（メタデータ） (2023-03-02T13:28:50Z)
• Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks [0.40145248246551063]
  スパイクニューラルネットワーク(スパイクニューラルネットワーク、英: Spiking Neural Network、SNN)は、スパイクの性質からエネルギー効率の高いニューラルネットワークである。 ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。 本手法は,ネットワークアーキテクチャを変更することなく,エネルギー消費の指標を直接最適化するように設計されている。
  論文  参考訳（メタデータ） (2023-02-03T02:30:00Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。