論文の概要: Visual Explanations from Spiking Neural Networks using Interspike
Intervals
- arxiv url: http://arxiv.org/abs/2103.14441v1
- Date: Fri, 26 Mar 2021 12:49:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 17:50:39.531622
- Title: Visual Explanations from Spiking Neural Networks using Interspike
Intervals
- Title(参考訳): スパイク間隔を用いたスパイクニューラルネットワークからの視覚説明
- Authors: Youngeun Kim, Priyadarshini Panda
- Abstract要約: Spiking Neural Networks (SNN) は非同期バイナリ時系列イベントを計算および通信する。
近年のSNNの訓練におけるアルゴリズム的な取り組みは、様々な分類タスクにおける競争性能を示している。
Spike Map Activation (SAM) という,SNNs のバイオ・プラシブル・ビジュアライゼーションの新しい概念を提案する。
- 参考スコア(独自算出の注目度): 7.1220867300642645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) compute and communicate with asynchronous
binary temporal events that can lead to significant energy savings with
neuromorphic hardware. Recent algorithmic efforts on training SNNs have shown
competitive performance on a variety of classification tasks. However, a
visualization tool for analysing and explaining the internal spike behavior of
such temporal deep SNNs has not been explored. In this paper, we propose a new
concept of bio-plausible visualization for SNNs, called Spike Activation Map
(SAM). The proposed SAM circumvents the non-differentiable characteristic of
spiking neurons by eliminating the need for calculating gradients to obtain
visual explanations. Instead, SAM calculates a temporal visualization map by
forward propagating input spikes over different time-steps. SAM yields an
attention map corresponding to each time-step of input data by highlighting
neurons with short inter-spike interval activity. Interestingly, without both
the backpropagation process and the class label, SAM highlights the
discriminative region of the image while capturing fine-grained details. With
SAM, for the first time, we provide a comprehensive analysis on how internal
spikes work in various SNN training configurations depending on optimization
types, leak behavior, as well as when faced with adversarial examples.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、非同期バイナリ時間イベントを計算し、通信することで、ニューロモルフィックハードウェアによる大幅な省エネにつながる。
近年のSNNの訓練におけるアルゴリズム的な取り組みは、様々な分類タスクにおける競争性能を示している。
しかし,このような時間的深層snsの内部スパイク挙動を解析・説明するための可視化ツールは検討されていない。
本稿では,スパイク活性化マップ (SAM) と呼ばれる,SNNにおける生体情報可視化の新しい概念を提案する。
提案したSAMは、視覚的説明を得るために勾配を計算する必要性を排除し、スパイキングニューロンの非分化性特性を回避する。
SAMは、異なる時間ステップで入力スパイクを前方に伝播することで、時間的可視化マップを計算する。
SAMは、短いスパイク間隔でニューロンをハイライトすることにより、入力データの各タイムステップに対応するアテンションマップを生成する。
興味深いことに、バックプロパゲーションプロセスとクラスラベルの両方なしでSAMは、きめ細かい詳細をキャプチャしながら、画像の識別領域を強調する。
SAMでは、最適化タイプ、リーク動作、および敵の例に直面する場合に応じて、様々なSNNトレーニング設定において内部スパイクがどのように機能するかを包括的に分析する。
関連論文リスト
- Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - Deep Spiking-UNet for Image Processing [101.4553345195388]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳(メタデータ) (2023-07-20T16:00:19Z) - AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning
Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。
AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。
いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文 参考訳(メタデータ) (2023-03-01T15:12:42Z) - STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution
and Attention for Spiking Neural Networks [7.422913384086416]
ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。
SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。
生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。
時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:13:22Z) - Exploring the Properties and Evolution of Neural Network Eigenspaces
during Training [0.0]
我々は,問題難易度とニューラルネットワーク容量が,対角的に予測性能に影響を及ぼすことを示した。
従来報告されていた尾部パターンのような病理パターンとは無関係に観察結果が得られた」。
論文 参考訳(メタデータ) (2021-06-17T14:18:12Z) - A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP [0.0]
ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。
本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。
スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
論文 参考訳(メタデータ) (2021-05-31T07:07:48Z) - Continuity-Discrimination Convolutional Neural Network for Visual Object
Tracking [150.51667609413312]
本稿では,視覚オブジェクト追跡のためのContinuity-Discrimination Convolutional Neural Network (CD-CNN) という新しいモデルを提案する。
この問題に対処するため、cd-cnnは時間的遅れの概念に基づいた時間的外観連続性をモデル化する。
不正確なターゲットの定位とドリフトを緩和するために,新しい概念 object-centroid を提案する。
論文 参考訳(メタデータ) (2021-04-18T06:35:03Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳(メタデータ) (2020-12-03T08:32:01Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network [7.503685643036081]
空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-19T01:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。