論文の概要: A Time-to-first-spike Coding and Conversion Aware Training for Energy-Efficient Deep Spiking Neural Network Processor Design

• arxiv url: http://arxiv.org/abs/2208.04494v1
• Date: Tue, 9 Aug 2022 01:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:03:41.659097
• Title: A Time-to-first-spike Coding and Conversion Aware Training for Energy-Efficient Deep Spiking Neural Network Processor Design
• Title（参考訳）: エネルギー効率の高いディープスパイクニューラルネットワークプロセッサ設計のための時間対一のコーディングと変換認識トレーニング
• Authors: Dongwoo Lew, Kyungchul Lee, and Jongsun Park
• Abstract要約: 本稿では,ハードウェア実装のオーバーヘッドを伴わずに,ANNからSNNへの変換損失を低減するための変換アウェアネストレーニング(CAT)を提案する。 また、スパイク時間情報を利用して、軽量な対数計算が可能なタイム・ツー・ファースト・スパイク・コーディングを提案する。 計算処理装置は、推論エネルギーが486.7uJ、503.6uJ、1426uJの91.7%、67.9%、57.4%というトップ1の精度を達成する。
• 参考スコア（独自算出の注目度）: 2.850312625505125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present an energy-efficient SNN architecture, which can seamlessly run deep spiking neural networks (SNNs) with improved accuracy. First, we propose a conversion aware training (CAT) to reduce ANN-to-SNN conversion loss without hardware implementation overhead. In the proposed CAT, the activation function developed for simulating SNN during ANN training, is efficiently exploited to reduce the data representation error after conversion. Based on the CAT technique, we also present a time-to-first-spike coding that allows lightweight logarithmic computation by utilizing spike time information. The SNN processor design that supports the proposed techniques has been implemented using 28nm CMOS process. The processor achieves the top-1 accuracies of 91.7%, 67.9% and 57.4% with inference energy of 486.7uJ, 503.6uJ, and 1426uJ to process CIFAR-10, CIFAR-100, and Tiny-ImageNet, respectively, when running VGG-16 with 5bit logarithmic weights.
• Abstract（参考訳）: 本稿では,SNN(Deep Spiking Neural Network)を精度良くシームレスに動作させることができるエネルギー効率のよいSNNアーキテクチャを提案する。 まず,ハードウェア実装のオーバーヘッドを伴わずに,ANNからSNNへの変換損失を低減するための変換アウェアネストレーニング(CAT)を提案する。 提案したCATでは、ANNトレーニング中にSNNをシミュレートするために開発されたアクティベーション関数を効率よく利用し、変換後のデータ表現誤差を低減する。 また,CAT手法に基づいて,スパイク時間情報を利用する軽量対数計算が可能な時間対1スパイク符号を提案する。 提案手法をサポートするSNNプロセッサは28nmCMOSプロセスを用いて実装されている。 486.7uJ、503.6uJ、1426uJの推論エネルギーで、それぞれ91.7%、67.9%、57.4%のトップ1アキュラシーを達成し、5ビット対数重みを持つVGG-16を実行する際にCIFAR-10、CIFAR-100、Tiny-ImageNetを処理する。

関連論文リスト

• AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network [4.525951256256855]
  AT-SNNは、直接トレーニングでSNNベースのViTで推論中に処理されるトークンの数を動的に調整するように設計されている。 我々は,AT-SNNが画像分類タスクにおける最先端手法と比較して,高エネルギー効率と精度を実現する上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:06:18Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
  スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。 ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。 本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
  論文  参考訳（メタデータ） (2022-02-03T07:15:43Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• A Little Energy Goes a Long Way: Energy-Efficient, Accurate Conversion from Convolutional Neural Networks to Spiking Neural Networks [22.60412330785997]
  スパイクニューラルネットワーク(SNN)は、空間時空間データ、つまり現実世界の感覚データを処理する固有の機能を提供します。 SNNに関する主要な研究のスレッドは、トレーニング済みの畳み込みニューラルネットワーク(CNN)を同じ構造のSNNに変換することである。 本論文では,比較的短いスパイクトレインを用いて,ほぼゼロの精度損失を達成できる新しいCNN-to-SNN変換法を提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:15:29Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。