論文の概要: Masked Spiking Transformer

• arxiv url: http://arxiv.org/abs/2210.01208v2
• Date: Mon, 17 Jul 2023 14:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 00:18:34.936809
• Title: Masked Spiking Transformer
• Title（参考訳）: マスクスパイキング変圧器
• Authors: Ziqing Wang, Yuetong Fang, Jiahang Cao, Qiang Zhang, Zhongrui Wang, Renjing Xu
• Abstract要約: スパイキングニューラルネットワーク(SNN)とトランスフォーマーは、高エネルギー効率と高性能な性質の可能性を秘めている。 本稿では,SNN と Transformer を組み合わせた ANN-to-SNN 変換手法の利点を活用することを提案する。 本研究では、ランダムスパイク・マスキング(RSM)手法を取り入れた新しいマスケプ・スパイク・トランスフォーマー・フレームワークを導入し、余剰スパイクを発生させ、性能を犠牲にすることなくエネルギー消費を低減させる。
• 参考スコア（独自算出の注目度）: 6.862877794199617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of Spiking Neural Networks (SNNs) and Transformers has attracted significant attention due to their potential for high energy efficiency and high-performance nature. However, existing works on this topic typically rely on direct training, which can lead to suboptimal performance. To address this issue, we propose to leverage the benefits of the ANN-to-SNN conversion method to combine SNNs and Transformers, resulting in significantly improved performance over existing state-of-the-art SNN models. Furthermore, inspired by the quantal synaptic failures observed in the nervous system, which reduces the number of spikes transmitted across synapses, we introduce a novel Masked Spiking Transformer (MST) framework that incorporates a Random Spike Masking (RSM) method to prune redundant spikes and reduce energy consumption without sacrificing performance. Our experimental results demonstrate that the proposed MST model achieves a significant reduction of 26.8% in power consumption when the masking ratio is 75% while maintaining the same level of performance as the unmasked model.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)とトランスフォーマーの組み合わせは、高エネルギー効率と高性能性の可能性から注目されている。 しかしながら、このトピックに関する既存の作業は、通常、直接トレーニングに依存しており、それが最適でないパフォーマンスにつながる可能性がある。 そこで本研究では,SNN と Transformer を組み合わせた ANN-to-SNN 変換手法の利点を活用することを提案する。 さらに、神経系で観測される量子シナプス障害の影響を受け、シナプス間を伝播するスパイクの数を減少させるため、ランダムスパイク・マスク・マスキング(RSM)法を組み込んだ新しいMasked Spiking Transformer(MST)フレームワークを導入し、余剰スパイクを誘発し、性能を犠牲にすることなくエネルギー消費を削減した。 実験の結果,マスク比が75%の場合に,MSTモデルが26.8%の消費電力削減を実現し,マスキングモデルと同等の性能を維持した。

関連論文リスト

• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network [1.5215973379400674]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)の代替としてエネルギー効率が高いと見なされる 変換されたSNNの性能と効率を大幅に向上させる一貫した学習自由変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T09:38:54Z)
• Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks [44.145870290310356]
  近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。 トランスフォーマーモデルは、強力な自己アテンション機構と並列処理能力で知られており、様々な領域で例外的な性能を示している。 SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。
  論文  参考訳（メタデータ） (2024-12-18T07:07:38Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks [1.632439547798896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替として登場した。 本稿では,SNN変換フレームワークの確立により,SNNの性能向上と効率向上という2つの目的に対処することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-24T03:43:59Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks [0.40145248246551063]
  スパイクニューラルネットワーク(スパイクニューラルネットワーク、英: Spiking Neural Network、SNN)は、スパイクの性質からエネルギー効率の高いニューラルネットワークである。 ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。 本手法は,ネットワークアーキテクチャを変更することなく,エネルギー消費の指標を直接最適化するように設計されている。
  論文  参考訳（メタデータ） (2023-02-03T02:30:00Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。