論文の概要: Efficient Spiking Transformer Enabled By Partial Information
- arxiv url: http://arxiv.org/abs/2210.01208v1
- Date: Mon, 3 Oct 2022 19:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:50:20.552328
- Title: Efficient Spiking Transformer Enabled By Partial Information
- Title（参考訳）: 部分情報による効率的なスパイキング変換器
- Authors: Ziqing Wang, Yuetong Fang, Jiahang Cao, Zhongrui Wang, Renjing Xu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、疎結合で非同期な通信特性のため、近年大きな注目を集めている。
本稿では,これらの問題に対処するために,部分的な情報による効率的なスパイキングトランスフォーマフレームワークを提案する。
提案したESTモデルは,ImageNetデータセットの78.48%のトップ1の精度を,わずか16ステップで達成した。
- 参考スコア（独自算出の注目度）: 0.6719751155411073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have received substantial attention in recent
years due to their sparse and asynchronous communication nature, and thus can
be deployed in neuromorphic hardware and achieve extremely high energy
efficiency. However, SNNs currently can hardly realize a comparable performance
to that of artificial neural networks (ANNs) because their limited scalability
does not allow for large-scale networks. Especially for Transformer, as a model
of ANNs that has accomplished remarkable performance in various machine
learning tasks, its implementation in SNNs by conventional methods requires a
large number of neurons, notably in the self-attention module. Inspired by the
mechanisms in the nervous system, we propose an efficient spiking Transformer
(EST) framework enabled by partial information to address the above problem. In
this model, we not only implemented the self-attention module with a reasonable
number of neurons, but also introduced partial-information self-attention
(PSA), which utilizes only partial input signals, further reducing
computational resources compared to conventional methods. The experimental
results show that our EST can outperform the state-of-the-art SNN model in
terms of accuracy and the number of time steps on both Cifar-10/100 and
ImageNet datasets. In particular, the proposed EST model achieves 78.48% top-1
accuracy on the ImageNet dataset with only 16 time steps. In addition, our
proposed PSA reduces flops by 49.8% with negligible performance loss compared
to a self-attention module with full information.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、疎結合で非同期な通信特性のため近年注目されており、ニューロモルフィックハードウェアに展開でき、極めて高いエネルギー効率を実現することができる。
しかし、現在SNNは、大規模ネットワークでは拡張性に限界があるため、人工知能ニューラルネットワーク(ANN)と同等のパフォーマンスを実現することはほとんどできない。
特にトランスフォーマーでは、様々な機械学習タスクで顕著な性能を達成したannのモデルとして、従来の方法によるsnsの実装には多数のニューロン、特にセルフアテンションモジュールが必要である。
神経系のメカニズムにインスパイアされ, 部分的な情報によって可能となる効率的なスパイキングトランスフォーマー(EST)フレームワークを提案する。
このモデルでは、適切なニューロン数を持つ自己付着モジュールを実装しただけでなく、部分的入力信号のみを利用する部分情報セルフアテンション(psa)を導入し、従来の手法と比較して計算資源を削減した。
実験結果から, ESTはCifar-10/100データセットとImageNetデータセットの精度, 時間ステップの両面で, 最先端SNNモデルより優れていることが示された。
特に、提案されたESTモデルは、ImageNetデータセットの78.48%のトップ-1の精度を16ステップで達成している。
さらに,提案したPSAは,全情報を有する自己保持モジュールと比較して,性能損失が無視できるため,フロップを49.8%削減する。
関連論文リスト
- Multi-Bit Mechanism: A Novel Information Transmission Paradigm for Spiking Neural Networks [4.552065156611815]
スパイクニューラルネットワーク(SNN)は、高性能、低消費電力、生物学的解釈性の向上に対して認識される。
現在、スパイクのバイナリの性質はSNNにかなりの情報損失をもたらし、最終的にパフォーマンスが低下している。
本研究では,SNNのためのマルチビット情報伝送機構を提案する。
論文 参考訳（メタデータ） (2024-07-08T08:46:31Z) - SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。
本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。
SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
論文 参考訳（メタデータ） (2024-03-21T11:16:42Z) - Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks [1.632439547798896]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替として登場した。
本稿では,SNN変換フレームワークの確立により,SNNの性能向上と効率向上という2つの目的に対処することに焦点を当てる。
論文 参考訳（メタデータ） (2023-11-24T03:43:59Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T17:56:39Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳（メタデータ） (2023-08-19T08:17:41Z) - Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators
through Training with Right-Censored Gaussian Noise [16.470952550714394]
我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。
本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
論文 参考訳（メタデータ） (2023-07-29T01:06:37Z) - MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource
Visual Question Answering [66.05768870785548]
微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。
現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。
低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
論文 参考訳（メタデータ） (2023-03-02T13:28:50Z) - Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient
Spiking Neural Networks [0.40145248246551063]
スパイクニューラルネットワーク(スパイクニューラルネットワーク、英: Spiking Neural Network、SNN)は、スパイクの性質からエネルギー効率の高いニューラルネットワークである。
ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。
本手法は,ネットワークアーキテクチャを変更することなく,エネルギー消費の指標を直接最適化するように設計されている。
論文 参考訳（メタデータ） (2023-02-03T02:30:00Z) - A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。
Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。
我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文 参考訳（メタデータ） (2022-10-27T13:24:08Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。