論文の概要: An Exact Mapping From ReLU Networks to Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2212.12522v1
- Date: Fri, 23 Dec 2022 18:31:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 16:10:13.141786
- Title: An Exact Mapping From ReLU Networks to Spiking Neural Networks
- Title（参考訳）: ReLUネットワークからスパイクニューラルネットワークへの厳密なマッピング
- Authors: Ana Stanojevic, Stanis{\l}aw Wo\'zniak, Guillaume Bellec, Giovanni
Cherubini, Angeliki Pantazi, Wulfram Gerstner
- Abstract要約: 本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。
より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
- 参考スコア（独自算出の注目度）: 3.1701886344065255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep spiking neural networks (SNNs) offer the promise of low-power artificial
intelligence. However, training deep SNNs from scratch or converting deep
artificial neural networks to SNNs without loss of performance has been a
challenge. Here we propose an exact mapping from a network with Rectified
Linear Units (ReLUs) to an SNN that fires exactly one spike per neuron. For our
constructive proof, we assume that an arbitrary multi-layer ReLU network with
or without convolutional layers, batch normalization and max pooling layers was
trained to high performance on some training set. Furthermore, we assume that
we have access to a representative example of input data used during training
and to the exact parameters (weights and biases) of the trained ReLU network.
The mapping from deep ReLU networks to SNNs causes zero percent drop in
accuracy on CIFAR10, CIFAR100 and the ImageNet-like data sets Places365 and
PASS. More generally our work shows that an arbitrary deep ReLU network can be
replaced by an energy-efficient single-spike neural network without any loss of
performance.
- Abstract（参考訳）: deep spiking neural networks (snns)は、低消費電力の人工知能を約束する。
しかし、深いSNNをゼロからトレーニングしたり、深い人工知能ニューラルネットワークをパフォーマンスを失うことなくSNNに変換することは困難である。
本稿では,整流線形単位(relus)を持つネットワークから,ニューロンに1つのスパイクを発生させるsnへの正確なマッピングを提案する。
構成的証明として,畳み込み層,バッチ正規化,最大プール層を有する任意の多層ReLUネットワークが,一部のトレーニングセットで高い性能を示すように訓練されたと仮定する。
さらに、トレーニング中に使用される入力データの代表例と、トレーニングされたreluネットワークの正確なパラメータ(重みとバイアス)へのアクセスが可能であると仮定する。
ディープReLUネットワークからSNNへのマッピングは、CIFAR10、CIFAR100、ImageNetライクなデータセットPlaces365、PASSの精度をゼロに低下させる。
より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
関連論文リスト
- Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。
まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。
次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文 参考訳（メタデータ） (2024-07-30T07:24:58Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - You Can Have Better Graph Neural Networks by Not Training Weights at
All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。
得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。
また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文 参考訳（メタデータ） (2022-11-28T14:17:36Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳（メタデータ） (2021-05-11T10:05:53Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。