論文の概要: Spiking Neural Networks with Dynamic Time Steps for Vision Transformers
- arxiv url: http://arxiv.org/abs/2311.16456v1
- Date: Tue, 28 Nov 2023 03:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 20:23:59.145731
- Title: Spiking Neural Networks with Dynamic Time Steps for Vision Transformers
- Title（参考訳）: 視覚トランスフォーマーのための動的時間ステップを用いたスパイクニューラルネットワーク
- Authors: Gourav Datta, Zeyu Liu, Anni Li, Peter A. Beerel
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、複雑なタスクのための一般的な時間コンピューティングパラダイムのビジョンとして登場した。
トレーニング可能なスコアに応じて各ViTモジュールに時間ステップ数を動的に割り当てる新しいトレーニングフレームワークを提案する。
我々は、CIFAR10、CIFAR100、ImageNetなどの画像認識タスクにおいて、トレーニングフレームワークを評価し、その結果のSNNを異なるViTアーキテクチャで評価する。
- 参考スコア（独自算出の注目度）: 10.118436208925413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) have emerged as a popular spatio-temporal
computing paradigm for complex vision tasks. Recently proposed SNN training
algorithms have significantly reduced the number of time steps (down to 1) for
improved latency and energy efficiency, however, they target only convolutional
neural networks (CNN). These algorithms, when applied on the recently
spotlighted vision transformers (ViT), either require a large number of time
steps or fail to converge. Based on analysis of the histograms of the ANN and
SNN activation maps, we hypothesize that each ViT block has a different
sensitivity to the number of time steps. We propose a novel training framework
that dynamically allocates the number of time steps to each ViT module
depending on a trainable score assigned to each timestep. In particular, we
generate a scalar binary time step mask that filters spikes emitted by each
neuron in a leaky-integrate-and-fire (LIF) layer. The resulting SNNs have high
activation sparsity and require only accumulate operations (AC), except for the
input embedding layer, in contrast to expensive multiply-and-accumulates (MAC)
needed in traditional ViTs. This yields significant improvements in energy
efficiency. We evaluate our training framework and resulting SNNs on image
recognition tasks including CIFAR10, CIFAR100, and ImageNet with different ViT
architectures. We obtain a test accuracy of 95.97% with 4.97 time steps with
direct encoding on CIFAR10.
- Abstract（参考訳）: Spiking Neural Networks (SNN)は、複雑な視覚タスクのための時空間コンピューティングパラダイムとして人気がある。
最近提案されたSNNトレーニングアルゴリズムは、レイテンシとエネルギー効率を改善するための時間ステップ(1まで)を大幅に削減したが、それらは畳み込みニューラルネットワーク(CNN)のみを対象としている。
これらのアルゴリズムは、最近注目された視覚変換器(ViT)に適用された場合、大量の時間ステップを必要とするか、収束に失敗する。
ANN と SNN のアクティベーションマップのヒストグラム解析に基づいて,各 ViT ブロックが時間ステップ数に対して異なる感度を持つという仮説を立てた。
本稿では、各タイムステップに割り当てられたトレーニング可能なスコアに応じて、各ViTモジュールに動的にタイムステップ数を割り当てる新しいトレーニングフレームワークを提案する。
特に、各ニューロンから放出されるスパイクを、漏洩積分燃焼(LIF)層でフィルタリングするスカラー二分時間ステップマスクを生成する。
結果として生じるSNNは高い活性化間隔を持ち、従来のViTで必要とされる高価な乗算累積(MAC)とは対照的に、入力埋め込み層を除いて、蓄積操作(AC)のみを必要とする。
これによりエネルギー効率が大幅に向上する。
vitアーキテクチャの異なるcifar10,cifar100,imagenetなどの画像認識タスクにおいて,トレーニングフレームワークと結果snsを評価した。
テスト精度は95.97%で、4.97時間ステップでcifar10に直接エンコードする。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network [4.525951256256855]
AT-SNNは、直接トレーニングでSNNベースのViTで推論中に処理されるトークンの数を動的に調整するように設計されている。
我々は,AT-SNNが画像分類タスクにおける最先端手法と比較して,高エネルギー効率と精度を実現する上で有効であることを示す。
論文 参考訳（メタデータ） (2024-08-22T11:06:18Z) - Training a General Spiking Neural Network with Improved Efficiency and
Minimum Latency [4.503744528661997]
スパイキングニューラルネットワーク(SNN)は、イベント駆動方式で動作し、バイナリスパイク表現を使用する。
本稿では,限られた時間ステップで特徴学習とアクティベーション効率を向上させるための一般的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-05T09:54:44Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。
そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。
rev-to-SNN変換フレームワーク、続いてSNNトレーニング。
我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
論文 参考訳（メタデータ） (2022-10-23T04:10:27Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike
Hybrid Input Encoding [5.725845886457027]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。
SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。
本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-26T06:16:40Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。