論文の概要: Evaluating the temporal understanding of neural networks on event-based
action recognition with DVS-Gesture-Chain
- arxiv url: http://arxiv.org/abs/2209.14915v1
- Date: Thu, 29 Sep 2022 16:22:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:46:43.843647
- Title: Evaluating the temporal understanding of neural networks on event-based
action recognition with DVS-Gesture-Chain
- Title（参考訳）: DVS-Gesture-Chainを用いた事象に基づく行動認識におけるニューラルネットワークの時間的理解の評価
- Authors: Alex Vicente-Sola, Davide L. Manna, Paul Kirkland, Gaetano Di
Caterina, Trevor Bihl
- Abstract要約: 我々は、DVS-Gesture-Chain(DVS-GC)というイベントベースのビデオシーケンスにおけるアクション認識のための新しいベンチマークタスクを定義する。
新たに定義されたタスクを用いて、異なるフィードフォワード畳み込みANNと畳み込みニューラルネットワーク(SNN)の理解を評価する。
- 参考スコア（独自算出の注目度）: 0.7829352305480283
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Enabling artificial neural networks (ANNs) to have temporal understanding in
visual tasks is an essential requirement in order to achieve complete
perception of video sequences. A wide range of benchmark datasets is available
to allow for the evaluation of such capabilities when using conventional
frame-based video sequences. In contrast, evaluating them for systems targeting
neuromorphic data is still a challenge due to the lack of appropriate datasets.
In this work we define a new benchmark task for action recognition in
event-based video sequences, DVS-Gesture-Chain (DVS-GC), which is based on the
temporal combination of multiple gestures from the widely used DVS-Gesture
dataset. This methodology allows to create datasets that are arbitrarily
complex in the temporal dimension. Using our newly defined task, we evaluate
the spatio-temporal understanding of different feed-forward convolutional ANNs
and convolutional Spiking Neural Networks (SNNs). Our study proves how the
original DVS Gesture benchmark could be solved by networks without temporal
understanding, unlike the new DVS-GC which demands an understanding of the
ordering of events. From there, we provide a study showing how certain elements
such as spiking neurons or time-dependent weights allow for temporal
understanding in feed-forward networks without the need for recurrent
connections. Code available at:
https://github.com/VicenteAlex/DVS-Gesture-Chain
- Abstract（参考訳）: 映像列の完全な知覚を実現するためには,ニューラルネットワーク(anns)による視覚タスクの時間的理解が不可欠である。
従来のフレームベースのビデオシーケンスを使用する場合に、その能力を評価するために、幅広いベンチマークデータセットが利用可能である。
対照的に、適切なデータセットがないため、神経形態的データをターゲットにしたシステムに対する評価は依然として課題である。
本研究では,DVS-Gesture-Chain(DVS-GC)と呼ばれるイベントベースのビデオシーケンスにおけるアクション認識のための新しいベンチマークタスクを定義する。
この方法論は、時間次元において任意に複雑なデータセットを作成することができる。
新たに定義されたタスクを用いて、フィードフォワードの畳み込みANNと畳み込みニューラルネットワーク(SNN)の時空間的理解を評価する。
本研究は、イベントの順序の理解を必要とする新しいDVS-GCとは異なり、時間的理解なしに、元のDVS Gestureベンチマークがネットワークによってどのように解決できるかを実証する。
そこから、スパイキングニューロンや時間依存重みなどの特定の要素が、繰り返し接続を必要とせずにフィードフォワードネットワークの時間的理解を可能にしていることを示す。
コード提供: https://github.com/vicentealex/dvs-gesture-chain
関連論文リスト
- Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。
適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T12:49:58Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
論文 参考訳（メタデータ） (2024-02-26T17:30:34Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳（メタデータ） (2023-07-14T08:51:03Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Surrogate Gradient Spiking Neural Networks as Encoders for Large
Vocabulary Continuous Speech Recognition [91.39701446828144]
スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。
彼らは音声コマンド認識タスクについて有望な結果を示した。
繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
論文 参考訳（メタデータ） (2022-12-01T12:36:26Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP [0.0]
ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。
本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。
スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
論文 参考訳（メタデータ） (2021-05-31T07:07:48Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳（メタデータ） (2020-03-23T10:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。