論文の概要: Efficient Spiking Transformer Enabled By Partial Information
- arxiv url: http://arxiv.org/abs/2210.01208v1
- Date: Mon, 3 Oct 2022 19:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:50:20.552328
- Title: Efficient Spiking Transformer Enabled By Partial Information
- Title(参考訳): 部分情報による効率的なスパイキング変換器
- Authors: Ziqing Wang, Yuetong Fang, Jiahang Cao, Zhongrui Wang, Renjing Xu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、疎結合で非同期な通信特性のため、近年大きな注目を集めている。
本稿では,これらの問題に対処するために,部分的な情報による効率的なスパイキングトランスフォーマフレームワークを提案する。
提案したESTモデルは,ImageNetデータセットの78.48%のトップ1の精度を,わずか16ステップで達成した。
- 参考スコア(独自算出の注目度): 0.6719751155411073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have received substantial attention in recent
years due to their sparse and asynchronous communication nature, and thus can
be deployed in neuromorphic hardware and achieve extremely high energy
efficiency. However, SNNs currently can hardly realize a comparable performance
to that of artificial neural networks (ANNs) because their limited scalability
does not allow for large-scale networks. Especially for Transformer, as a model
of ANNs that has accomplished remarkable performance in various machine
learning tasks, its implementation in SNNs by conventional methods requires a
large number of neurons, notably in the self-attention module. Inspired by the
mechanisms in the nervous system, we propose an efficient spiking Transformer
(EST) framework enabled by partial information to address the above problem. In
this model, we not only implemented the self-attention module with a reasonable
number of neurons, but also introduced partial-information self-attention
(PSA), which utilizes only partial input signals, further reducing
computational resources compared to conventional methods. The experimental
results show that our EST can outperform the state-of-the-art SNN model in
terms of accuracy and the number of time steps on both Cifar-10/100 and
ImageNet datasets. In particular, the proposed EST model achieves 78.48% top-1
accuracy on the ImageNet dataset with only 16 time steps. In addition, our
proposed PSA reduces flops by 49.8% with negligible performance loss compared
to a self-attention module with full information.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、疎結合で非同期な通信特性のため近年注目されており、ニューロモルフィックハードウェアに展開でき、極めて高いエネルギー効率を実現することができる。
しかし、現在SNNは、大規模ネットワークでは拡張性に限界があるため、人工知能ニューラルネットワーク(ANN)と同等のパフォーマンスを実現することはほとんどできない。
特にトランスフォーマーでは、様々な機械学習タスクで顕著な性能を達成したannのモデルとして、従来の方法によるsnsの実装には多数のニューロン、特にセルフアテンションモジュールが必要である。
神経系のメカニズムにインスパイアされ, 部分的な情報によって可能となる効率的なスパイキングトランスフォーマー(EST)フレームワークを提案する。
このモデルでは、適切なニューロン数を持つ自己付着モジュールを実装しただけでなく、部分的入力信号のみを利用する部分情報セルフアテンション(psa)を導入し、従来の手法と比較して計算資源を削減した。
実験結果から, ESTはCifar-10/100データセットとImageNetデータセットの精度, 時間ステップの両面で, 最先端SNNモデルより優れていることが示された。
特に、提案されたESTモデルは、ImageNetデータセットの78.48%のトップ-1の精度を16ステップで達成している。
さらに,提案したPSAは,全情報を有する自己保持モジュールと比較して,性能損失が無視できるため,フロップを49.8%削減する。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Bursting Spikes: Efficient and High-performance SNNs for Event-based
Vision [1.7833229323127784]
スパイクニューラルネットワーク(SNN)によるイベント駆動型ビジョンは、高速で効率的な知覚を促進するために不可欠である。
生体神経系にインスパイアされたバーストスパイク機構を導入する。
変換過程におけるエネルギー消費を低減するため,感度駆動型スパイク圧縮手法を提案する。
論文 参考訳(メタデータ) (2023-11-24T03:43:59Z) - SADMoE: Exploiting Activation Sparsity with Dynamic-k Gating [3.74142789780782]
トランスフォーマーモデルは、ネットワークの一部をMixture-of-Experts層に変換することで、推論コストを削減するために利用することができる。
本稿では,活性化空間化によるMoE変換の効率化について述べる。
また,より効果的な動的k専門家選択ルールを提案する。
論文 参考訳(メタデータ) (2023-10-06T16:34:51Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳(メタデータ) (2023-08-19T08:17:41Z) - Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators
through Training with Right-Censored Gaussian Noise [16.470952550714394]
我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。
本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
論文 参考訳(メタデータ) (2023-07-29T01:06:37Z) - Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された
SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。
最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
論文 参考訳(メタデータ) (2023-06-01T15:35:26Z) - MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource
Visual Question Answering [66.05768870785548]
微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。
現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。
低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
論文 参考訳(メタデータ) (2023-03-02T13:28:50Z) - Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient
Spiking Neural Networks [0.40145248246551063]
スパイクニューラルネットワーク(スパイクニューラルネットワーク、英: Spiking Neural Network、SNN)は、スパイクの性質からエネルギー効率の高いニューラルネットワークである。
ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。
本手法は,ネットワークアーキテクチャを変更することなく,エネルギー消費の指標を直接最適化するように設計されている。
論文 参考訳(メタデータ) (2023-02-03T02:30:00Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-29T14:16:49Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Transformer with Depth-Wise LSTM [69.40942736249397]
Transformer翻訳モデルは、その収束を保証するために残差接続を使用する。
本稿では,階層の出力を時系列のステップとみなす深度ワイドLSTMを用いてトランスフォーマーを訓練することを提案する。
6層トランスを用いた実験により,WMT 14の英語-ドイツ語と英語-フランス語の両タスクにおいて,BLEUの大幅な改善がもたらされることが示された。
論文 参考訳(メタデータ) (2020-07-13T09:19:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。