論文の概要: A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP
- arxiv url: http://arxiv.org/abs/2105.14740v1
- Date: Mon, 31 May 2021 07:07:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:10:17.736943
- Title: A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP
- Title（参考訳）: STDPを用いたスパイクニューラルネットワークを用いた時空間行動認識における前処理の効果に関する研究
- Authors: El-Assal Mireille and Tirilly Pierre and Bilasco Ioan Marius
- Abstract要約: ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。
本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。
スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been an increasing interest in spiking neural networks in recent
years. SNNs are seen as hypothetical solutions for the bottlenecks of ANNs in
pattern recognition, such as energy efficiency. But current methods such as
ANN-to-SNN conversion and back-propagation do not take full advantage of these
networks, and unsupervised methods have not yet reached a success comparable to
advanced artificial neural networks. It is important to study the behavior of
SNNs trained with unsupervised learning methods such as spike-timing dependent
plasticity (STDP) on video classification tasks, including mechanisms to model
motion information using spikes, as this information is critical for video
understanding. This paper presents multiple methods of transposing temporal
information into a static format, and then transforming the visual information
into spikes using latency coding. These methods are paired with two types of
temporal fusion known as early and late fusion, and are used to help the
spiking neural network in capturing the spatio-temporal features from videos.
In this paper, we rely on the network architecture of a convolutional spiking
neural network trained with STDP, and we test the performance of this network
when challenged with action recognition tasks. Understanding how a spiking
neural network responds to different methods of movement extraction and
representation can help reduce the performance gap between SNNs and ANNs. In
this paper we show the effect of the similarity in the shape and speed of
certain actions on action recognition with spiking neural networks, we also
highlight the effectiveness of some methods compared to others.
- Abstract（参考訳）: 近年、ニューラルネットワークのスパイクへの関心が高まっている。
SNNは、エネルギー効率などのパターン認識におけるANNのボトルネックに対する仮説的な解決策と見なされている。
しかし、現在のANN-to-SNN変換やバックプロパゲーションのような手法はこれらのネットワークを十分に活用するものではない。
この情報は映像理解に重要であるため,映像分類タスクにおけるスパイク決定依存可塑性(stdp)などの教師なし学習法で訓練されたsnsの挙動を研究することが重要である。
本稿では,時間情報を静的形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する複数の手法を提案する。
これらの手法は、アーリー・フュージョンとレイト・フュージョンとして知られる2種類の時間的融合と組み合わせられ、ビデオから時間的・時間的特徴をスパイキングニューラルネットワークが捉えるのに役立つ。
本稿では,stdpで学習した畳み込みスパイキングニューラルネットワークのネットワークアーキテクチャに依拠し,このネットワークの性能を動作認識課題に対してテストする。
スパイクニューラルネットワークが、異なるムーブメント抽出と表現方法にどのように反応するかを理解することは、SNNとANNのパフォーマンスギャップを軽減するのに役立つ。
本稿では,スパイキングニューラルネットワークを用いた行動認識において,行動の形状と速度の類似性が与える影響について述べる。
関連論文リスト
- Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。
近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
論文 参考訳（メタデータ） (2024-03-19T05:37:26Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Spiking Two-Stream Methods with Unsupervised STDP-based Learning for
Action Recognition [1.9981375888949475]
ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)は、現在、ビデオ分析のための最先端の手法である。
我々は、制御されていないスパイクタイミング依存塑性(STDP)ルールで訓練された畳み込みスパイキングニューラルネットワーク(CSNN)を用いて行動分類を行う。
本研究では,2ストリームCSNNが,限られたトレーニングデータを用いてもビデオから情報を抽出できることを示す。
論文 参考訳（メタデータ） (2023-06-23T20:54:44Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural
Networks [3.7384509727711923]
ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。
本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。
提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
論文 参考訳（メタデータ） (2021-06-03T14:03:41Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。