論文の概要: SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in
Spiking Transformer
- arxiv url: http://arxiv.org/abs/2311.08806v1
- Date: Wed, 15 Nov 2023 09:22:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 16:33:04.897357
- Title: SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in
Spiking Transformer
- Title（参考訳）: SparseSpikformer:スパイキングトランスにおけるトーケンおよびウェイトプルーニングの共同設計フレームワーク
- Authors: Yue Liu, Shanlin Xiao, Bo Li, Zhiyi Yu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点がある。
最も先進的なSNNであるSpikformerは、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。
本稿では,SparseSpikformerについて紹介する。SparseSpikformerはトークンとウェイトプルーニング技術を用いてSparseSpikformerのスパーシ性を実現するための共同設計フレームワークである。
- 参考スコア（独自算出の注目度）: 12.717450255837178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the third-generation neural network, the Spiking Neural Network (SNN) has
the advantages of low power consumption and high energy efficiency, making it
suitable for implementation on edge devices. More recently, the most advanced
SNN, Spikformer, combines the self-attention module from Transformer with SNN
to achieve remarkable performance. However, it adopts larger channel dimensions
in MLP layers, leading to an increased number of redundant model parameters. To
effectively decrease the computational complexity and weight parameters of the
model, we explore the Lottery Ticket Hypothesis (LTH) and discover a very
sparse ($\ge$90%) subnetwork that achieves comparable performance to the
original network. Furthermore, we also design a lightweight token selector
module, which can remove unimportant background information from images based
on the average spike firing rate of neurons, selecting only essential
foreground image tokens to participate in attention calculation. Based on that,
we present SparseSpikformer, a co-design framework aimed at achieving sparsity
in Spikformer through token and weight pruning techniques. Experimental results
demonstrate that our framework can significantly reduce 90% model parameters
and cut down Giga Floating-Point Operations (GFLOPs) by 20% while maintaining
the accuracy of the original model.
- Abstract（参考訳）: 第3世代のニューラルネットワークとして、スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点があり、エッジデバイスの実装に適している。
最近では、最も先進的なSNNであるSpikformerが、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。
しかし、mlp層でより大きなチャネル次元を採用し、冗長なモデルパラメータの数を増やしている。
モデルの計算複雑性と重みパラメータを効果的に低減するために、抽選チケット仮説(lth)を探求し、元のネットワークに匹敵する性能を達成する非常にスパースな(約90%)サブネットワークを発見する。
さらに,ニューロンの平均スパイク発火率に基づいて画像から重要でない背景情報を除去できる軽量なトークンセレクタモジュールを設計し,アテンション計算に必須のフォアグラウンド画像トークンのみを選択する。
sparsespikformerはトークンと重みの刈り込み技術によってspikformerのスパース性を達成することを目的としたコデザインフレームワークである。
実験により,本フレームワークはモデルパラメータの90%を大幅に削減し,Giga Floating-Point Operations (GFLOPs) を20%削減し,元のモデルの精度を維持した。
関連論文リスト
- MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。
我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。
MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
論文 参考訳（メタデータ） (2024-08-24T05:54:47Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された
SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。
最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
論文 参考訳（メタデータ） (2023-06-01T15:35:26Z) - Spikingformer: Spike-driven Residual Learning for Transformer-based
Spiking Neural Network [19.932683405796126]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。
SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。
我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
論文 参考訳（メタデータ） (2023-04-24T09:44:24Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - ClusTR: Exploring Efficient Self-attention via Clustering for Vision
Transformers [70.76313507550684]
本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。
具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。
結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
論文 参考訳（メタデータ） (2022-08-28T04:18:27Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳（メタデータ） (2021-08-30T06:09:02Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。