論文の概要: Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2103.00476v1
- Date: Sun, 28 Feb 2021 12:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:08:59.909725
- Title: Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks
- Title(参考訳): 従来の人工ニューラルネットワークのスパイクニューラルネットワークへの最適変換
- Authors: Shikuang Deng, Shi Gu
- Abstract要約: spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are biology-inspired artificial neural
networks (ANNs) that comprise of spiking neurons to process asynchronous
discrete signals. While more efficient in power consumption and inference speed
on the neuromorphic hardware, SNNs are usually difficult to train directly from
scratch with spikes due to the discreteness. As an alternative, many efforts
have been devoted to converting conventional ANNs into SNNs by copying the
weights from ANNs and adjusting the spiking threshold potential of neurons in
SNNs. Researchers have designed new SNN architectures and conversion algorithms
to diminish the conversion error. However, an effective conversion should
address the difference between the SNN and ANN architectures with an efficient
approximation \DSK{of} the loss function, which is missing in the field. In
this work, we analyze the conversion error by recursive reduction to layer-wise
summation and propose a novel strategic pipeline that transfers the weights to
the target SNN by combining threshold balance and soft-reset mechanisms. This
pipeline enables almost no accuracy loss between the converted SNNs and
conventional ANNs with only $\sim1/10$ of the typical SNN simulation time. Our
method is promising to get implanted onto embedded platforms with better
support of SNNs with limited energy and memory.
- Abstract(参考訳): スパイクニューラルネットワーク(SNN)は、非同期離散信号を処理するためにスパイクニューロンからなる生物由来の人工ニューラルネットワーク(ANN)である。
ニューロモルフィックハードウェアの消費電力と推論速度はより効率的であるが、SNNは離散性のため、スクラッチから直接スパイクで訓練することが通常困難である。
代替として、従来のANNをSNNに変換するためには、ANNの重みをコピーし、SNNのニューロンのスパイク閾値電位を調整し、多くの努力が注がれている。
研究者は新しいSNNアーキテクチャと変換アルゴリズムを設計し、変換エラーを低減した。
しかし、効果的な変換は、フィールドに欠けているロス関数の効率的な近似 \DSK{of} で SNN と ANN のアーキテクチャの違いに対処するべきである。
本研究では、再帰的還元による変換誤差を層方向に要約して解析し、しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
このパイプラインは、変換されたSNNと従来のANNの間で、典型的なSNNシミュレーション時間のうち、$\sim1/10$しか正確に損失しない。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
関連論文リスト
- Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。
効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。
我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
論文 参考訳(メタデータ) (2024-02-29T11:41:12Z) - When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate,
& Energy-Efficient Spiking Neural Networks from Artificial Neural Networks [22.721987637571306]
Spiking Neural Networks (SNN) は畳み込みニューラルネットワーク (CNN) に匹敵する精度を示している
ANN-to-SNN変換は、最近、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、大きな注目を集めている。
提案手法は,SOTA変換手法で必要となる時間ステップを指数的に減少させる新しいANN-to-SNN変換フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-12T00:10:45Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳(メタデータ) (2023-10-23T14:26:16Z) - A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual
Perception [49.877675666360695]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - Spiking Neural Network Decision Feedback Equalization [70.3497683558609]
決定フィードバック等化器(DFE)に似たフィードバック構造を持つSNNベースの等化器を提案する。
提案手法は,3種類の模範チャネルに対して,従来の線形等化器よりも明らかに優れていることを示す。
決定フィードバック構造を持つSNNは、競合エネルギー効率の良いトランシーバへのパスを可能にする。
論文 参考訳(メタデータ) (2022-11-09T09:19:15Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-22T18:47:45Z) - Beyond Classification: Directly Training Spiking Neural Networks for
Semantic Segmentation [5.800785186389827]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
論文 参考訳(メタデータ) (2021-10-14T21:53:03Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。