論文の概要: Gaining the Sparse Rewards by Exploring Binary Lottery Tickets in
Spiking Neural Network
- arxiv url: http://arxiv.org/abs/2309.13302v2
- Date: Thu, 28 Sep 2023 15:20:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 19:40:52.677482
- Title: Gaining the Sparse Rewards by Exploring Binary Lottery Tickets in
Spiking Neural Network
- Title(参考訳): スパイクニューラルネットワークにおける二元的ロテリチケット探索によるスパースリワード獲得
- Authors: Hao Cheng, Jiahang Cao, Erjia Xiao, Pu Zhao, Mengshu Sun, Jiaxu Wang,
Jize Zhang, Xue Lin, Bhavya Kailkhura, Kaidi Xu, Renjing Xu
- Abstract要約: 脳に触発された戦略としてのスパイキングニューラルネットワーク(SNN)は、多くの注目を集めている。
本稿では,2進SNNにおけるLuttery Tickets(LTs)の存在の有無に着目した。
我々は、BinW-SLTが、バイナリLTと比較してCIFAR-10とCIFAR-100を+5.86%、+3.17%改善できることを示した。
- 参考スコア(独自算出の注目度): 41.82409970642009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Network (SNN) as a brain-inspired strategy receives lots of
attention because of the high-sparsity and low-power properties derived from
its inherent spiking information state. To further improve the efficiency of
SNN, some works declare that the Lottery Tickets (LTs) Hypothesis, which
indicates that the Artificial Neural Network (ANN) contains a subnetwork
without sacrificing the performance of the original network, also exists in
SNN. However, the spiking information handled by SNN has a natural similarity
and affinity with binarization in sparsification. Therefore, to further explore
SNN efficiency, this paper focuses on (1) the presence or absence of LTs in the
binary SNN, and (2) whether the spiking mechanism is a superior strategy in
terms of handling binary information compared to simple model binarization. To
certify these consumptions, a sparse training method is proposed to find Binary
Weights Spiking Lottery Tickets (BinW-SLT) under different network structures.
Through comprehensive evaluations, we show that BinW-SLT could attain up to
+5.86% and +3.17% improvement on CIFAR-10 and CIFAR-100 compared with binary
LTs, as well as achieve 1.86x and 8.92x energy saving compared with
full-precision SNN and ANN.
- Abstract(参考訳): 脳にインスパイアされた戦略としてのスパイクニューラルネットワーク(snn)は、その固有のスパイク情報状態に由来する高いスパース性と低電力特性のために多くの注目を集めている。
snnの効率をさらに高めるために、人工ニューラルネットワーク(ann)が元のネットワークのパフォーマンスを犠牲にすることなくサブネットワークを含むことを示す宝くじ(lts)仮説もsnsに存在すると宣言する研究もある。
しかし、SNNが処理するスパイク情報は、スパーシフィケーションにおけるバイナライゼーションと自然な類似性と親和性を持っている。
そこで,本研究では,(1)2進SNNにおけるLTの有無,(2)2進SNNにおけるスパイキング機構が,単純なモデルバイナライゼーションに比べて2進情報を扱う上で優れた戦略であるか否かを考察する。
これらの消費を認証するために、異なるネットワーク構造下でのバイナリウェイトスパイキングロッテリティケット(BinW-SLT)を見つけるためのスパーストレーニング手法を提案する。
総合的な評価により、BinW-SLTはCIFAR-10とCIFAR-100で最大5.86%、+3.17%向上し、完全精度のSNNとANNと比較して1.86倍と8.92倍の省エネが得られることを示した。
関連論文リスト
- LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳(メタデータ) (2023-10-23T14:26:16Z) - Boosting Binary Neural Networks via Dynamic Thresholds Learning [21.835748440099586]
我々はDySignを導入し、情報損失を減らし、BNNの代表能力を高める。
DCNNでは、2つのバックボーンに基づくDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
ViTsの場合、DyCCTはImageNetデータセット上で完全にバイナライズされたViTsと56.1%のコンボリューショナル埋め込み層の優位性を示す。
論文 参考訳(メタデータ) (2022-11-04T07:18:21Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳(メタデータ) (2022-10-10T10:05:00Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-22T18:47:45Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳(メタデータ) (2021-10-18T11:30:29Z) - Beyond Classification: Directly Training Spiking Neural Networks for
Semantic Segmentation [5.800785186389827]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
論文 参考訳(メタデータ) (2021-10-14T21:53:03Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Explore the Knowledge contained in Network Weights to Obtain Sparse
Neural Networks [2.649890751459017]
本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。
タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
論文 参考訳(メタデータ) (2021-03-26T11:29:40Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。