論文の概要: Constructing Accurate and Efficient Deep Spiking Neural Networks with
Double-threshold and Augmented Schemes
- arxiv url: http://arxiv.org/abs/2005.03231v1
- Date: Tue, 5 May 2020 06:44:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 13:14:34.163075
- Title: Constructing Accurate and Efficient Deep Spiking Neural Networks with
Double-threshold and Augmented Schemes
- Title（参考訳）: ダブルスレッショルドと拡張スキームを用いた高精度で効率的なディープスパイキングニューラルネットワークの構築
- Authors: Qiang Yu, Chenxiang Ma, Shiming Song, Gaoyan Zhang, Jianwu Dang, Kay
Chen Tan
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)が直面する高消費電力化など、現在の課題を克服する潜在的候補と考えられている。
- 参考スコア（独自算出の注目度）: 35.395895930338455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are considered as a potential candidate to
overcome current challenges such as the high-power consumption encountered by
artificial neural networks (ANNs), however there is still a gap between them
with respect to the recognition accuracy on practical tasks. A conversion
strategy was thus introduced recently to bridge this gap by mapping a trained
ANN to an SNN. However, it is still unclear that to what extent this obtained
SNN can benefit both the accuracy advantage from ANN and high efficiency from
the spike-based paradigm of computation. In this paper, we propose two new
conversion methods, namely TerMapping and AugMapping. The TerMapping is a
straightforward extension of a typical threshold-balancing method with a
double-threshold scheme, while the AugMapping additionally incorporates a new
scheme of augmented spike that employs a spike coefficient to carry the number
of typical all-or-nothing spikes occurring at a time step. We examine the
performance of our methods based on MNIST, Fashion-MNIST and CIFAR10 datasets.
The results show that the proposed double-threshold scheme can effectively
improve accuracies of the converted SNNs. More importantly, the proposed
AugMapping is more advantageous for constructing accurate, fast and efficient
deep SNNs as compared to other state-of-the-art approaches. Our study therefore
provides new approaches for further integration of advanced techniques in ANNs
to improve the performance of SNNs, which could be of great merit to applied
developments with spike-based neuromorphic computing.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)が直面する高消費電力化など、現在の課題を克服する潜在的候補と考えられているが、実際的なタスクにおける認識精度に関してはまだギャップがある。
これにより、トレーニングされたANNをSNNにマッピングすることで、このギャップを埋める変換戦略が最近導入された。
しかし、この得られたSNNがANNの精度とスパイクベースの計算パラダイムの高効率の両方の利点をどの程度享受できるかは、まだ不明である。
本稿では,TurMappingとAugMappingという2つの新しい変換手法を提案する。
TerMappingは、ダブルスレッショルド方式による典型的なしきい値バランス方式の直接的な拡張であり、AugMappingは、スパイク係数を用いて、タイムステップで発生する典型的なオールスルースパイクの数を運ぶ新しいスパイク方式を取り入れている。
MNIST, Fashion-MNIST, CIFAR10データセットを用いて本手法の性能を検討した。
その結果,提案手法は変換されたsnsの精度を効果的に向上できることがわかった。
さらに重要なことに、提案されたaugmappingは、他の最先端のアプローチに比べて正確で高速で効率的なディープsnsを構築するのに有利である。
そこで本研究では,スパイクベースニューロモルフィックコンピューティングを用いた応用開発において大きなメリットがあるSNNの性能向上のために,ANNの高度な技術をさらに統合するための新たなアプローチを提案する。
関連論文リスト
- BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-03-23T07:57:32Z) - Optimising Event-Driven Spiking Neural Network with Regularisation and
Cutoff [33.91830001268308]
スパイキングニューラルネットワーク(SNN)は、計算効率を有望に改善する。
現在のSNNトレーニング手法は、主に固定時間ステップアプローチを採用している。
本稿では,効率的な推論を実現するために,推論中にいつでもSNNを終了できるSNNの遮断を検討することを提案する。
論文 参考訳（メタデータ） (2023-01-23T16:14:09Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。