Fugu-MT 論文翻訳(概要): TCL: an ANN-to-SNN Conversion with Trainable Clipping Layers

論文の概要: TCL: an ANN-to-SNN Conversion with Trainable Clipping Layers

arxiv url: http://arxiv.org/abs/2008.04509v3
Date: Mon, 15 Nov 2021 06:55:31 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 11:45:27.566816
Title: TCL: an ANN-to-SNN Conversion with Trainable Clipping Layers
Title（参考訳）: TCL: トレーニング可能なクリッピング層を備えたANN-to-SNN変換
Authors: Nguyen-Dong Ho, Ik-Joon Chang
Abstract要約: スパイキングニューラルネット(SNN)は、アナログニューラルネット(ANN)と比較して、SNNのイベント駆動動作がはるかに低いため、エッジデバイスにおいて有望である。本稿では,SNNの250サイクルの適度なレイテンシでImageNetの73.87% (VGG-16) と70.37% (ResNet-34) の精度を実現するため,TCLと呼ばれる手法を提案する。
参考スコア（独自算出の注目度）: 4.7210697296108926
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Spiking-neural-networks (SNNs) are promising at edge devices since the event-driven operations of SNNs provides significantly lower power compared to analog-neural-networks (ANNs). Although it is difficult to efficiently train SNNs, many techniques to convert trained ANNs to SNNs have been developed. However, after the conversion, a trade-off relation between accuracy and latency exists in SNNs, causing considerable latency in large size datasets such as ImageNet. We present a technique, named as TCL, to alleviate the trade-off problem, enabling the accuracy of 73.87% (VGG-16) and 70.37% (ResNet-34) for ImageNet with the moderate latency of 250 cycles in SNNs.
Abstract（参考訳）: スパイクニューラルネットワーク(snn)は、snsのイベント駆動操作がアナログニューラルネットワーク(anns)よりも大幅に低い電力を提供するため、エッジデバイスにおいて有望である。 SNNを効率的に訓練することは難しいが、訓練されたANNをSNNに変換する多くの技術が開発されている。しかし、変換後、SNNには精度とレイテンシのトレードオフ関係が存在し、ImageNetのような大規模なデータセットにかなりのレイテンシが生じる。本稿では,SNNの250サイクルの適度なレイテンシでImageNetの73.87% (VGG-16) と70.37% (ResNet-34) の精度を実現するため,TCLと呼ばれる手法を提案する。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。 ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
論文参考訳（メタデータ） (2024-01-30T02:00:28Z)
LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文参考訳（メタデータ） (2023-10-23T14:26:16Z)
LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
論文参考訳（メタデータ） (2023-04-17T03:49:35Z)
Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks [22.532709609646066]
スパイキングニューラルネットワーク(SNN)は、低消費電力とニューロモルフィックハードウェアにおける高速推論の特徴的な特性により、大きな注目を集めている。ディープSNNを得る最も効果的な方法として、ANN-SNN変換は大規模データセット上でのANNと同等のパフォーマンスを達成した。本稿では,ANN-SNN変換誤差を理論的に解析し,SNNの活性化関数を推定する。 SNNとANNの変換誤差はゼロであり、高精度で超低レイテンシのSNNを実現することができることを示す。
論文参考訳（メタデータ） (2023-03-08T03:04:53Z)
Spikeformer: A Novel Architecture for Training High-Performance Low-Latency Spiking Neural Network [6.8125324121155275]
静的データセットとニューロモルフィックデータセットの両方において,トランスフォーマーをベースとした新しいSNNであるSpikeformerを提案する。注目すべきは、SpikeformerはImageNet上の他のSNNよりも大きなマージン(5%以上)で、DVS-GestureとImageNetでANNよりも3.1%、そして2.2%高いパフォーマンスである。
論文参考訳（メタデータ） (2022-11-19T12:49:22Z)
Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks [11.300257721586432]
スパイキングニューラルネットワーク(SNN)は、リソース制約のあるアプリケーションに適している。典型的なレートエンコードされたSNNでは、グローバルに固定された時間ウィンドウ内の一連のバイナリスパイクを使用してニューロンを発射する。本研究の目的は、ANNを等価SNNに変換する際の精度を維持しつつ、これを削減することである。
論文参考訳（メタデータ） (2022-10-27T08:13:20Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。