論文の概要: Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences

• arxiv url: http://arxiv.org/abs/2005.02183v1
• Date: Sat, 2 May 2020 10:19:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 11:50:53.732264
• Title: Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences
• Title（参考訳）: ニューロモルフィック視覚データセットにおけるSNNとRNNの比較:類似性と相違
• Authors: Weihua He, YuJie Wu, Lei Deng, Guoqi Li, Haoyu Wang, Yang Tian, Wei Ding, Wenhui Wang, Yuan Xie
• Abstract要約: スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。 本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
• 参考スコア（独自算出の注目度）: 36.82069150045153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuromorphic data, recording frameless spike events, have attracted considerable attention for the spatiotemporal information components and the event-driven processing fashion. Spiking neural networks (SNNs) represent a family of event-driven models with spatiotemporal dynamics for neuromorphic computing, which are widely benchmarked on neuromorphic data. Interestingly, researchers in the machine learning community can argue that recurrent (artificial) neural networks (RNNs) also have the capability to extract spatiotemporal features although they are not event-driven. Thus, the question of "what will happen if we benchmark these two kinds of models together on neuromorphic data" comes out but remains unclear. In this work, we make a systematic study to compare SNNs and RNNs on neuromorphic data, taking the vision datasets as a case study. First, we identify the similarities and differences between SNNs and RNNs (including the vanilla RNNs and LSTM) from the modeling and learning perspectives. To improve comparability and fairness, we unify the supervised learning algorithm based on backpropagation through time (BPTT), the loss function exploiting the outputs at all timesteps, the network structure with stacked fully-connected or convolutional layers, and the hyper-parameters during training. Especially, given the mainstream loss function used in RNNs, we modify it inspired by the rate coding scheme to approach that of SNNs. Furthermore, we tune the temporal resolution of datasets to test model robustness and generalization. At last, a series of contrast experiments are conducted on two types of neuromorphic datasets: DVS-converted (N-MNIST) and DVS-captured (DVS Gesture).
• Abstract（参考訳）: フレームレススパイクイベントを記録するニューロモルフィックデータには,時空間情報コンポーネントやイベント駆動処理スタイルに注目が集まっている。 spiking neural networks (snns) は、ニューロモーフィック・コンピューティングのための時空間ダイナミクスを持つイベント駆動モデル群であり、ニューロモーフィック・データに基づいて広くベンチマークされている。 興味深いことに、機械学習コミュニティの研究者たちは、リカレント(人工)ニューラルネットワーク(RNN)にも、イベント駆動ではないが時空間の特徴を抽出する能力があると主張している。 したがって、「これらの2種類のモデルをニューロモルフィックデータでベンチマークすればどうなるか」という疑問が浮かび上がっているが、まだ不明である。 本研究では、ニューロモルフィックデータに対するSNNとRNNの比較を体系的に研究し、視覚データセットをケーススタディとする。 まず、モデリングと学習の観点から、SNNとRNN(バニラRNNとLSTMを含む)の類似点と相違点を同定する。 コンパラビリティと公平性を改善するため,時間によるバックプロパゲーション(BPTT)に基づく教師付き学習アルゴリズム,全タイムステップで出力を活用できる損失関数,完全連結層や畳み込み層を積み重ねたネットワーク構造,トレーニング中のハイパーパラメータを統一する。 特に、RNNで使われるメインストリームの損失関数を考えると、レート符号化方式にインスパイアされてSNNにアプローチする。 さらに,モデルのロバスト性と一般化をテストするために,データセットの時間分解をチューニングする。 最後に、DVS変換(N-MNIST)とDVSキャプチャ(DVS Gesture)の2種類のニューロモルフィックデータセットについてコントラスト実験を行った。

関連論文リスト

• Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model [30.66645039322337]
  高品質なベンチマークデータセットは、ニューラルネットワーク(SNN)の発展に非常に重要である しかし、SNNベースのクロスモーダル融合はまだ未定である。 本研究では,SNNの時間的特性をよりよく活用できるニューロモルフィックデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-21T06:59:04Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Digit Recognition using Multimodal Spiking Neural Networks [3.046906600991174]
  スパイキングニューラルネットワーク(SNN)は、生物学的にデータ処理にインスパイアされた第3世代のニューラルネットワークである。 SNNは、そのニューロモルフィック性のためにイベントベースのデータを処理するために使用される。
  論文  参考訳（メタデータ） (2024-08-31T22:27:40Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Predicting Brain Age using Transferable coVariance Neural Networks [119.45320143101381]
  我々は最近,サンプル共分散行列で動作する共分散ニューラルネットワーク(VNN)について検討した。 本稿では,大脳皮質厚みデータを用いた脳年齢推定におけるVNNの有用性を示す。 以上の結果から、VNNは脳年齢推定のためのマルチスケールおよびマルチサイト転送性を示すことが明らかとなった。 アルツハイマー病(AD)の脳年齢の文脈では,健常者に対してVNNを用いて予測される脳年齢がADに対して有意に上昇していることから,VNNの出力は解釈可能であることが示された。
  論文  参考訳（メタデータ） (2022-10-28T18:58:34Z)
• Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal Classification [13.521272923545409]
  Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。 本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。 本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:34:01Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
  スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。 スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-10-27T11:47:42Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。