論文の概要: 2D versus 3D Convolutional Spiking Neural Networks Trained with Unsupervised STDP for Human Action Recognition

• arxiv url: http://arxiv.org/abs/2205.13474v1
• Date: Thu, 26 May 2022 16:34:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:29:20.478582
• Title: 2D versus 3D Convolutional Spiking Neural Networks Trained with Unsupervised STDP for Human Action Recognition
• Title（参考訳）: 人行動認識のための教師なしSTDPを用いた2D対3D畳み込みニューラルネットワーク
• Authors: Mireille El-Assal, Pierre Tirilly, Ioan Marius Bilasco
• Abstract要約: スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理する第3世代生物可塑性モデルである。 スパイクタイミング依存塑性(STDP)ルールを用いたSNNによる教師なし学習は、ボトルネックを克服する可能性がある。 本稿では,STDPベースの畳み込みSNNが3次元カーネルを用いて動きパターンを学習し,動画からの動きに基づく認識を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 1.9981375888949475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current advances in technology have highlighted the importance of video analysis in the domain of computer vision. However, video analysis has considerably high computational costs with traditional artificial neural networks (ANNs). Spiking neural networks (SNNs) are third generation biologically plausible models that process the information in the form of spikes. Unsupervised learning with SNNs using the spike timing dependent plasticity (STDP) rule has the potential to overcome some bottlenecks of regular artificial neural networks, but STDP-based SNNs are still immature and their performance is far behind that of ANNs. In this work, we study the performance of SNNs when challenged with the task of human action recognition, because this task has many real-time applications in computer vision, such as video surveillance. In this paper we introduce a multi-layered 3D convolutional SNN model trained with unsupervised STDP. We compare the performance of this model to those of a 2D STDP-based SNN when challenged with the KTH and Weizmann datasets. We also compare single-layer and multi-layer versions of these models in order to get an accurate assessment of their performance. We show that STDP-based convolutional SNNs can learn motion patterns using 3D kernels, thus enabling motion-based recognition from videos. Finally, we give evidence that 3D convolution is superior to 2D convolution with STDP-based SNNs, especially when dealing with long video sequences.
• Abstract（参考訳）: 最近の技術進歩は、コンピュータビジョンの領域におけるビデオ分析の重要性を強調している。 しかし、ビデオ解析は従来のニューラルネットワーク(anns)に比べて計算コストがかなり高い。 スパイクニューラルネットワーク(snn)は、スパイクの形で情報を処理する第3世代の生物学的に妥当なモデルである。 スパイクタイミング依存塑性(STDP)ルールを用いたSNNによる教師なし学習は、通常の人工ニューラルネットワークのボトルネックを克服する可能性があるが、STDPベースのSNNはまだ未成熟であり、その性能はANNよりもはるかに劣っている。 本研究では,人間の行動認識の課題に挑戦した場合のsnsの性能について検討する。この課題は映像監視など,コンピュータビジョンに多くのリアルタイム応用があるためである。 本稿では,教師なしSTDPで学習した多層3次元畳み込みSNNモデルを提案する。 我々は,このモデルの性能を,KTHとWeizmannデータセットに挑戦する2次元STDPベースのSNNの性能と比較する。 また,これらのモデルの単層モデルと多層モデルの比較を行い,性能評価を行った。 本稿では,STDPベースの畳み込みSNNが3次元カーネルを用いて動きパターンを学習し,動画からの動きに基づく認識を可能にすることを示す。 最後に,STDPをベースとした2次元畳み込みよりも3次元畳み込みの方が優れていることを示す。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition [1.2123876307427106]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実装される場合、通常の非スパイキングネットワークよりも計算コスト(数倍)が著しく低い。 本稿では,ビデオ解析に必要なパラメータ数を削減すべく,S3TC(Spike Separated Space and Temporal Convolutions)を初めて紹介する。
  論文  参考訳（メタデータ） (2023-09-22T10:05:35Z)
• Spiking Two-Stream Methods with Unsupervised STDP-based Learning for Action Recognition [1.9981375888949475]
  ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)は、現在、ビデオ分析のための最先端の手法である。 我々は、制御されていないスパイクタイミング依存塑性(STDP)ルールで訓練された畳み込みスパイキングニューラルネットワーク(CSNN)を用いて行動分類を行う。 本研究では,2ストリームCSNNが,限られたトレーニングデータを用いてもビデオから情報を抽出できることを示す。
  論文  参考訳（メタデータ） (2023-06-23T20:54:44Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)
• Spiking Neural Networks -- Part I: Detecting Spatial Patterns [38.518936229794214]
  Spiking Neural Networks(SNN)は生物学的にインスパイアされた機械学習モデルで、バイナリとスパーススパイキング信号をイベント駆動のオンラインな方法で処理する動的ニューラルモデルに基づいている。 SNNは、学習と推論のためのエネルギー効率の良いコプロセッサとして出現しているニューロモルフィックコンピューティングプラットフォーム上で実装することができる。
  論文  参考訳（メタデータ） (2020-10-27T11:37:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• An Efficient Spiking Neural Network for Recognizing Gestures with a DVS Camera on the Loihi Neuromorphic Processor [12.118084418840152]
  Spiking Neural Networks(SNN)は、機械学習ベースのアプリケーションにおいて注目を浴びている。 本稿では,対応するディープニューラルネットワーク(DNN)とほぼ同じ精度のSNNの設計手法を示す。 我々のSNNは89.64%の分類精度を達成し、37のLoihiコアしか占有していない。
  論文  参考訳（メタデータ） (2020-05-16T17:00:10Z)
• Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
  スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。 本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。 角速度回帰を行うためにSNNをうまく訓練できることが示される。
  論文  参考訳（メタデータ） (2020-03-05T17:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。