論文の概要: Evaluating the temporal understanding of neural networks on event-based
action recognition with DVS-Gesture-Chain
- arxiv url: http://arxiv.org/abs/2209.14915v1
- Date: Thu, 29 Sep 2022 16:22:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:46:43.843647
- Title: Evaluating the temporal understanding of neural networks on event-based
action recognition with DVS-Gesture-Chain
- Title(参考訳): DVS-Gesture-Chainを用いた事象に基づく行動認識におけるニューラルネットワークの時間的理解の評価
- Authors: Alex Vicente-Sola, Davide L. Manna, Paul Kirkland, Gaetano Di
Caterina, Trevor Bihl
- Abstract要約: 我々は、DVS-Gesture-Chain(DVS-GC)というイベントベースのビデオシーケンスにおけるアクション認識のための新しいベンチマークタスクを定義する。
新たに定義されたタスクを用いて、異なるフィードフォワード畳み込みANNと畳み込みニューラルネットワーク(SNN)の理解を評価する。
- 参考スコア(独自算出の注目度): 0.7829352305480283
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Enabling artificial neural networks (ANNs) to have temporal understanding in
visual tasks is an essential requirement in order to achieve complete
perception of video sequences. A wide range of benchmark datasets is available
to allow for the evaluation of such capabilities when using conventional
frame-based video sequences. In contrast, evaluating them for systems targeting
neuromorphic data is still a challenge due to the lack of appropriate datasets.
In this work we define a new benchmark task for action recognition in
event-based video sequences, DVS-Gesture-Chain (DVS-GC), which is based on the
temporal combination of multiple gestures from the widely used DVS-Gesture
dataset. This methodology allows to create datasets that are arbitrarily
complex in the temporal dimension. Using our newly defined task, we evaluate
the spatio-temporal understanding of different feed-forward convolutional ANNs
and convolutional Spiking Neural Networks (SNNs). Our study proves how the
original DVS Gesture benchmark could be solved by networks without temporal
understanding, unlike the new DVS-GC which demands an understanding of the
ordering of events. From there, we provide a study showing how certain elements
such as spiking neurons or time-dependent weights allow for temporal
understanding in feed-forward networks without the need for recurrent
connections. Code available at:
https://github.com/VicenteAlex/DVS-Gesture-Chain
- Abstract(参考訳): 映像列の完全な知覚を実現するためには,ニューラルネットワーク(anns)による視覚タスクの時間的理解が不可欠である。
従来のフレームベースのビデオシーケンスを使用する場合に、その能力を評価するために、幅広いベンチマークデータセットが利用可能である。
対照的に、適切なデータセットがないため、神経形態的データをターゲットにしたシステムに対する評価は依然として課題である。
本研究では,DVS-Gesture-Chain(DVS-GC)と呼ばれるイベントベースのビデオシーケンスにおけるアクション認識のための新しいベンチマークタスクを定義する。
この方法論は、時間次元において任意に複雑なデータセットを作成することができる。
新たに定義されたタスクを用いて、フィードフォワードの畳み込みANNと畳み込みニューラルネットワーク(SNN)の時空間的理解を評価する。
本研究は、イベントの順序の理解を必要とする新しいDVS-GCとは異なり、時間的理解なしに、元のDVS Gestureベンチマークがネットワークによってどのように解決できるかを実証する。
そこから、スパイキングニューロンや時間依存重みなどの特定の要素が、繰り返し接続を必要とせずにフィードフォワードネットワークの時間的理解を可能にしていることを示す。
コード提供: https://github.com/vicentealex/dvs-gesture-chain
関連論文リスト
- Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳(メタデータ) (2023-07-14T08:51:03Z) - Surrogate Gradient Spiking Neural Networks as Encoders for Large
Vocabulary Continuous Speech Recognition [91.39701446828144]
スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。
彼らは音声コマンド認識タスクについて有望な結果を示した。
繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
論文 参考訳(メタデータ) (2022-12-01T12:36:26Z) - Brain inspired neuronal silencing mechanism to enable reliable sequence
identification [0.0]
本稿では,フィードバックループのない高速フィードフォワードシーケンス識別ネットワーク(ID-net)の実験的なメカニズムを提案する。
このメカニズムは、最近のスパイク活動の後、一時的にニューロンを沈黙させる。
提示されたメカニズムは、高度なANNアルゴリズムのための新しい水平線を開放する。
論文 参考訳(メタデータ) (2022-03-24T12:15:02Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Exploring the Properties and Evolution of Neural Network Eigenspaces
during Training [0.0]
我々は,問題難易度とニューラルネットワーク容量が,対角的に予測性能に影響を及ぼすことを示した。
従来報告されていた尾部パターンのような病理パターンとは無関係に観察結果が得られた」。
論文 参考訳(メタデータ) (2021-06-17T14:18:12Z) - A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP [0.0]
ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。
本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。
スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
論文 参考訳(メタデータ) (2021-05-31T07:07:48Z) - Bio-plausible Unsupervised Delay Learning for Extracting Temporal
Features in Spiking Neural Networks [0.548253258922555]
ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。
シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
論文 参考訳(メタデータ) (2020-11-18T16:25:32Z) - A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion
Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。
エゴモーション記録シーケンスは重要な関連性を持つようになった。
提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
論文 参考訳(メタデータ) (2020-08-26T14:44:45Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳(メタデータ) (2020-03-23T10:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。