論文の概要: Efficient Spiking Transformer Enabled By Partial Information
- arxiv url: http://arxiv.org/abs/2210.01208v1
- Date: Mon, 3 Oct 2022 19:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:50:20.552328
- Title: Efficient Spiking Transformer Enabled By Partial Information
- Title（参考訳）: 部分情報による効率的なスパイキング変換器
- Authors: Ziqing Wang, Yuetong Fang, Jiahang Cao, Zhongrui Wang, Renjing Xu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、疎結合で非同期な通信特性のため、近年大きな注目を集めている。
本稿では,これらの問題に対処するために,部分的な情報による効率的なスパイキングトランスフォーマフレームワークを提案する。
提案したESTモデルは,ImageNetデータセットの78.48%のトップ1の精度を,わずか16ステップで達成した。
- 参考スコア（独自算出の注目度）: 0.6719751155411073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have received substantial attention in recent
years due to their sparse and asynchronous communication nature, and thus can
be deployed in neuromorphic hardware and achieve extremely high energy
efficiency. However, SNNs currently can hardly realize a comparable performance
to that of artificial neural networks (ANNs) because their limited scalability
does not allow for large-scale networks. Especially for Transformer, as a model
of ANNs that has accomplished remarkable performance in various machine
learning tasks, its implementation in SNNs by conventional methods requires a
large number of neurons, notably in the self-attention module. Inspired by the
mechanisms in the nervous system, we propose an efficient spiking Transformer
(EST) framework enabled by partial information to address the above problem. In
this model, we not only implemented the self-attention module with a reasonable
number of neurons, but also introduced partial-information self-attention
(PSA), which utilizes only partial input signals, further reducing
computational resources compared to conventional methods. The experimental
results show that our EST can outperform the state-of-the-art SNN model in
terms of accuracy and the number of time steps on both Cifar-10/100 and
ImageNet datasets. In particular, the proposed EST model achieves 78.48% top-1
accuracy on the ImageNet dataset with only 16 time steps. In addition, our
proposed PSA reduces flops by 49.8% with negligible performance loss compared
to a self-attention module with full information.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、疎結合で非同期な通信特性のため近年注目されており、ニューロモルフィックハードウェアに展開でき、極めて高いエネルギー効率を実現することができる。
しかし、現在SNNは、大規模ネットワークでは拡張性に限界があるため、人工知能ニューラルネットワーク(ANN)と同等のパフォーマンスを実現することはほとんどできない。
特にトランスフォーマーでは、様々な機械学習タスクで顕著な性能を達成したannのモデルとして、従来の方法によるsnsの実装には多数のニューロン、特にセルフアテンションモジュールが必要である。
神経系のメカニズムにインスパイアされ, 部分的な情報によって可能となる効率的なスパイキングトランスフォーマー(EST)フレームワークを提案する。
このモデルでは、適切なニューロン数を持つ自己付着モジュールを実装しただけでなく、部分的入力信号のみを利用する部分情報セルフアテンション(psa)を導入し、従来の手法と比較して計算資源を削減した。
実験結果から, ESTはCifar-10/100データセットとImageNetデータセットの精度, 時間ステップの両面で, 最先端SNNモデルより優れていることが示された。
特に、提案されたESTモデルは、ImageNetデータセットの78.48%のトップ-1の精度を16ステップで達成している。
さらに,提案したPSAは,全情報を有する自己保持モジュールと比較して,性能損失が無視できるため,フロップを49.8%削減する。
関連論文リスト
- Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network [1.5215973379400674]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)の代替としてエネルギー効率が高いと見なされる
変換されたSNNの性能と効率を大幅に向上させる一貫した学習自由変換フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T09:38:54Z) - Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks [44.145870290310356]
近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。
トランスフォーマーモデルは、強力な自己アテンション機構と並列処理能力で知られており、様々な領域で例外的な性能を示している。
SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。
論文 参考訳（メタデータ） (2024-12-18T07:07:38Z) - OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。
しばしば最適化の課題を提起するが、収束性は低い。
推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。
視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
論文 参考訳（メタデータ） (2024-12-13T18:55:19Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。
本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。
SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
論文 参考訳（メタデータ） (2024-03-21T11:16:42Z) - Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks [1.632439547798896]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率の代替として登場した。
本稿では,SNN変換フレームワークの確立により,SNNの性能向上と効率向上という2つの目的に対処することに焦点を当てる。
論文 参考訳（メタデータ） (2023-11-24T03:43:59Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳（メタデータ） (2023-08-19T08:17:41Z) - Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient
Spiking Neural Networks [0.40145248246551063]
スパイクニューラルネットワーク(スパイクニューラルネットワーク、英: Spiking Neural Network、SNN)は、スパイクの性質からエネルギー効率の高いニューラルネットワークである。
ここでは, トレーニング段階における目的関数にスパイク活動の新たなペナルティ項を導入することで, この問題に対処する。
本手法は,ネットワークアーキテクチャを変更することなく,エネルギー消費の指標を直接最適化するように設計されている。
論文 参考訳（メタデータ） (2023-02-03T02:30:00Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。