Fugu-MT 論文翻訳(概要): AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network

論文の概要: AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network

arxiv url: http://arxiv.org/abs/2408.12293v1
Date: Thu, 22 Aug 2024 11:06:18 GMT
ステータス: 処理完了
システム内更新日: 2024-08-23 14:23:36.745277
Title: AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network
Title（参考訳）: AT-SNN:スパイクニューラルネットワークにおける視覚変換器の適応トークン
Authors: Donghwa Kang, Youngmoon Lee, Eun-Kyu Lee, Brent Kang, Jinkyu Lee, Hyeongboo Baek,
Abstract要約: AT-SNNは、直接トレーニングでSNNベースのViTで推論中に処理されるトークンの数を動的に調整するように設計されている。我々は,AT-SNNが画像分類タスクにおける最先端手法と比較して,高エネルギー効率と精度を実現する上で有効であることを示す。
参考スコア（独自算出の注目度）: 4.525951256256855
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the training and inference of spiking neural networks (SNNs), direct training and lightweight computation methods have been orthogonally developed, aimed at reducing power consumption. However, only a limited number of approaches have applied these two mechanisms simultaneously and failed to fully leverage the advantages of SNN-based vision transformers (ViTs) since they were originally designed for convolutional neural networks (CNNs). In this paper, we propose AT-SNN designed to dynamically adjust the number of tokens processed during inference in SNN-based ViTs with direct training, wherein power consumption is proportional to the number of tokens. We first demonstrate the applicability of adaptive computation time (ACT), previously limited to RNNs and ViTs, to SNN-based ViTs, enhancing it to discard less informative spatial tokens selectively. Also, we propose a new token-merge mechanism that relies on the similarity of tokens, which further reduces the number of tokens while enhancing accuracy. We implement AT-SNN to Spikformer and show the effectiveness of AT-SNN in achieving high energy efficiency and accuracy compared to state-of-the-art approaches on the image classification tasks, CIFAR10, CIFAR-100, and TinyImageNet. For example, our approach uses up to 42.4% fewer tokens than the existing best-performing method on CIFAR-100, while conserving higher accuracy.
Abstract（参考訳）: スパイクニューラルネットワーク(SNN)のトレーニングと推論において、電力消費を減らすことを目的とした直接トレーニングと軽量な計算手法が直交的に開発された。しかしながら、これらの2つのメカニズムを同時に適用するアプローチはごく少数のみであり、元々は畳み込みニューラルネットワーク(CNN)用に設計されたため、SNNベースの視覚変換器(ViT)の利点を十分に活用できなかった。本稿では,SNNベースのViTにおける推論中に処理されるトークンの数を,直接学習で動的に調整するAT-SNNを提案する。我々はまず,これまでRNNやViTに限られていた適応計算時間(ACT)をSNNベースのViTに適用し,情報量が少ない空間トークンを選択的に破棄するように拡張した。また,トークンの類似性に依存する新しいトークンマージ機構を提案する。画像分類タスク(CIFAR10, CIFAR-100, TinyImageNet)の最先端手法と比較して, AT-SNN を Spikformer に実装し, 高いエネルギー効率と精度を実現するための AT-SNN の有効性を示す。例えば、我々の手法では、CIFAR-100の既存のベストパフォーマンスメソッドよりも最大42.4%少ないトークンを使用するが、精度は高い。

関連論文リスト

Spiking Neural Networks with Dynamic Time Steps for Vision Transformers [10.118436208925413]
スパイキングニューラルネットワーク(SNN)は、複雑なタスクのための一般的な時間コンピューティングパラダイムのビジョンとして登場した。トレーニング可能なスコアに応じて各ViTモジュールに時間ステップ数を動的に割り当てる新しいトレーニングフレームワークを提案する。我々は、CIFAR10、CIFAR100、ImageNetなどの画像認識タスクにおいて、トレーニングフレームワークを評価し、その結果のSNNを異なるViTアーキテクチャで評価する。
論文参考訳（メタデータ） (2023-11-28T03:30:43Z)
Neurogenesis Dynamics-inspired Spiking Neural Network Training Acceleration [25.37391055865312]
スパイキングニューラルネットワーク(SNN)は、極めてエネルギー効率のよいマシンインテリジェンスを提供する能力に対して、大きな注目を集めている。ニューロジェネレーション・ダイナミクスにインスパイアされたスパイキングニューラルネットワークトレーニング・アクセラレーション・フレームワークであるNDSNNを提案する。我々のフレームワークは計算効率が高く、モデルの忠実さを犠牲にすることなく、スクラッチから動的間隔でモデルを訓練する。
論文参考訳（メタデータ） (2023-04-24T15:54:22Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-06T23:45:58Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2021-07-26T06:16:40Z)
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文参考訳（メタデータ） (2021-04-29T05:50:54Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)
Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。