論文の概要: SpikeZIP-TF: Conversion is All You Need for Transformer-based SNN

• arxiv url: http://arxiv.org/abs/2406.03470v1
• Date: Wed, 5 Jun 2024 17:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 17:12:15.865758
• Title: SpikeZIP-TF: Conversion is All You Need for Transformer-based SNN
• Title（参考訳）: SpikeZIP-TF:変換はトランスフォーマーベースのSNNに必要なもの
• Authors: Kang You, Zekai Xu, Chen Nie, Zhijie Deng, Qinghai Guo, Xiang Wang, Zhezhi He,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、高効率と精度の特色から注目されている。 本研究では,新しいANN-to-SNN変換手法であるSpikezip-TFを提案する。 Spikezip-TFは、CVデータセット(ImageNet)では83.82%、NLPデータセット(SST-2)では93.79%の精度を実現している。
• 参考スコア（独自算出の注目度）: 24.942068906129457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural network (SNN) has attracted great attention due to its characteristic of high efficiency and accuracy. Currently, the ANN-to-SNN conversion methods can obtain ANN on-par accuracy SNN with ultra-low latency (8 time-steps) in CNN structure on computer vision (CV) tasks. However, as Transformer-based networks have achieved prevailing precision on both CV and natural language processing (NLP), the Transformer-based SNNs are still encounting the lower accuracy w.r.t the ANN counterparts. In this work, we introduce a novel ANN-to-SNN conversion method called SpikeZIP-TF, where ANN and SNN are exactly equivalent, thus incurring no accuracy degradation. SpikeZIP-TF achieves 83.82% accuracy on CV dataset (ImageNet) and 93.79% accuracy on NLP dataset (SST-2), which are higher than SOTA Transformer-based SNNs. The code is available in GitHub: https://github.com/Intelligent-Computing-Research-Group/SpikeZIP_transformer
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、高効率と精度の特色から注目されている。 現在、ANN-to-SNN変換法は、コンピュータビジョン(CV)タスク上のCNN構造において、超低レイテンシ(8タイムステップ)でANNオンパー精度のSNNを得ることができる。 しかし、TransformerベースのネットワークはCVと自然言語処理(NLP)の両方で高い精度を達成しているため、TransformerベースのSNNは依然としてANNのそれよりも低い精度を計算している。 本研究では,新しいANN-to-SNN変換手法であるSpikeZIP-TFを導入する。 SpikeZIP-TFは、CVデータセット(ImageNet)では83.82%、NLPデータセット(SST-2)では93.79%の精度を実現している。 コードはGitHubで入手できる。 https://github.com/Intelligent-Computing-Research-Group/SpikeZIP_transformer

関連論文リスト

• Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion [12.893883491781697]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に代わる有望な選択肢である 我々は、ニューラルネットワークにおける異なる構造のエンドツーエンド変換をサポートするために、2つのサブパイプを設計する。 本手法の有効性を,最先端の学習法や変換法と比較し,短時間・長期の時間スケールで示す。
  論文  参考訳（メタデータ） (2024-08-18T08:23:51Z)
• OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
  設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。 本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。 この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
  論文  参考訳（メタデータ） (2024-03-21T14:06:38Z)
• One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
  スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。 本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。 ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
  論文  参考訳（メタデータ） (2024-01-30T02:00:28Z)
• Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks [22.532709609646066]
  スパイキングニューラルネットワーク(SNN)は、低消費電力とニューロモルフィックハードウェアにおける高速推論の特徴的な特性により、大きな注目を集めている。 ディープSNNを得る最も効果的な方法として、ANN-SNN変換は大規模データセット上でのANNと同等のパフォーマンスを達成した。 本稿では,ANN-SNN変換誤差を理論的に解析し,SNNの活性化関数を推定する。 SNNとANNの変換誤差はゼロであり、高精度で超低レイテンシのSNNを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-03-08T03:04:53Z)
• Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks [11.300257721586432]
  スパイキングニューラルネットワーク(SNN)は、リソース制約のあるアプリケーションに適している。 典型的なレートエンコードされたSNNでは、グローバルに固定された時間ウィンドウ内の一連のバイナリスパイクを使用してニューロンを発射する。 本研究の目的は、ANNを等価SNNに変換する際の精度を維持しつつ、これを削減することである。
  論文  参考訳（メタデータ） (2022-10-27T08:13:20Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks [43.046402416604245]
  Spiking Neural Networks(SNN)は、バイオインスパイアされたエネルギー効率の高いニューラルネットワークである。 本稿では,ANN-SNN変換を理論的に解析し,最適変換の十分な条件を導出する。 提案手法は, VGG-16, PreActResNet-18, およびより深い構造を用いて, ほぼ損失の少ない変換を実現する。
  論文  参考訳（メタデータ） (2021-05-25T04:15:06Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。