論文の概要: Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient

• arxiv url: http://arxiv.org/abs/2304.13098v1
• Date: Tue, 25 Apr 2023 19:08:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 16:41:43.382873
• Title: Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient
• Title（参考訳）: サーロゲート勾配で学習したスパイクニューラルネットワークの表現について
• Authors: Yuhang Li, Youngeun Kim, Hyoungseob Park, Priyadarshini Panda
• Abstract要約: スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率のため、次世代ニューラルネットワークの候補として認識されている。 近年、SNNは、代理勾配トレーニングを用いて、画像認識タスクにおいて、ほぼ最先端のパフォーマンスを達成できることを示した。
• 参考スコア（独自算出の注目度）: 11.0542573074431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are recognized as the candidate for the next-generation neural networks due to their bio-plausibility and energy efficiency. Recently, researchers have demonstrated that SNNs are able to achieve nearly state-of-the-art performance in image recognition tasks using surrogate gradient training. However, some essential questions exist pertaining to SNNs that are little studied: Do SNNs trained with surrogate gradient learn different representations from traditional Artificial Neural Networks (ANNs)? Does the time dimension in SNNs provide unique representation power? In this paper, we aim to answer these questions by conducting a representation similarity analysis between SNNs and ANNs using Centered Kernel Alignment (CKA). We start by analyzing the spatial dimension of the networks, including both the width and the depth. Furthermore, our analysis of residual connections shows that SNNs learn a periodic pattern, which rectifies the representations in SNNs to be ANN-like. We additionally investigate the effect of the time dimension on SNN representation, finding that deeper layers encourage more dynamics along the time dimension. We also investigate the impact of input data such as event-stream data and adversarial attacks. Our work uncovers a host of new findings of representations in SNNs. We hope this work will inspire future research to fully comprehend the representation power of SNNs. Code is released at https://github.com/Intelligent-Computing-Lab-Yale/SNNCKA.
• Abstract（参考訳）: スパイキングニューラルネットワーク(snn)は、その生体適合性とエネルギー効率のために次世代ニューラルネットワークの候補として認識される。 近年、SNNは、代理勾配トレーニングを用いて画像認識タスクにおいて、ほぼ最先端のパフォーマンスを達成できることを示した。 サーロゲート勾配で訓練されたsnsは、従来のニューラルネットワーク(anns)とは異なる表現を学んでいるのだろうか? SNNの時間次元は独特な表現力を提供するか? 本稿では,中心核アライメント(cka)を用いて,snsとann間の表現類似性解析を行うことにより,これらの質問に答える。 まず、幅と深さの両方を含むネットワークの空間次元を分析する。 さらに, 残差接続の解析により, SNN は周期パターンを学習し, SNN の表現を ANN 様に修正することを示した。 さらに, 時間次元がSNN表現に与える影響についても検討し, より深い層が時間次元に沿ってより動的に作用することを示した。 また、イベントストリームデータや敵攻撃などの入力データの影響についても検討する。 我々の研究は、SNNにおける表現の新しい発見のホストを明らかにする。 この研究が将来の研究に刺激を与え、SNNの表現力を完全に理解することを願っている。 コードはhttps://github.com/Intelligent-Computing-Lab-Yale/SNNCKAで公開されている。

関連論文リスト

• Delay Neural Networks (DeNN) for exploiting temporal information in event-based datasets [49.1574468325115]
  遅延ニューラルネットワーク(DeNN)は、前方と後方の両方でスパイクの正確な時間的情報を明示的に使用するように設計されている。 特に時間情報が重要であるデータセットでは、優れたパフォーマンスが得られます。
  論文  参考訳（メタデータ） (2025-01-10T14:58:15Z)
• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
  スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。 研究者はすでに、SNNを敵の例で攻撃できることを実証している。 我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
  論文  参考訳（メタデータ） (2022-04-12T21:26:49Z)
• Deep Learning in Spiking Phasor Neural Networks [0.6767885381740952]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシで低消費電力のニューロモルフィックハードウェアで使用するために、ディープラーニングコミュニティの注目を集めている。 本稿では,Spking Phasor Neural Networks(SPNN)を紹介する。 SPNNは複雑に評価されたディープニューラルネットワーク(DNN)に基づいており、スパイク時間による位相を表す。
  論文  参考訳（メタデータ） (2022-04-01T15:06:15Z)
• Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation [5.800785186389827]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
  論文  参考訳（メタデータ） (2021-10-14T21:53:03Z)
• Spiking Neural Networks for Visual Place Recognition via Weighted Neuronal Assignments [24.754429120321365]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシを含む、魅力的な潜在的な利点を提供する。 高性能SNNにとって有望な領域の1つは、テンプレートマッチングと画像認識である。 本研究では,視覚的位置認識(VPR)タスクのための最初の高性能SNNを紹介する。
  論文  参考訳（メタデータ） (2021-09-14T05:40:40Z)
• Spiking Neural Networks -- Part I: Detecting Spatial Patterns [38.518936229794214]
  Spiking Neural Networks(SNN)は生物学的にインスパイアされた機械学習モデルで、バイナリとスパーススパイキング信号をイベント駆動のオンラインな方法で処理する動的ニューラルモデルに基づいている。 SNNは、学習と推論のためのエネルギー効率の良いコプロセッサとして出現しているニューロモルフィックコンピューティングプラットフォーム上で実装することができる。
  論文  参考訳（メタデータ） (2020-10-27T11:37:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。