論文の概要: Spiking Two-Stream Methods with Unsupervised STDP-based Learning for Action Recognition

• arxiv url: http://arxiv.org/abs/2306.13783v1
• Date: Fri, 23 Jun 2023 20:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 19:06:53.001326
• Title: Spiking Two-Stream Methods with Unsupervised STDP-based Learning for Action Recognition
• Title（参考訳）: 教師なしSTDPに基づく行動認識のための2ストリーム方式のスパイキング
• Authors: Mireille El-Assal and Pierre Tirilly and Ioan Marius Bilasco
• Abstract要約: ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)は、現在、ビデオ分析のための最先端の手法である。 我々は、制御されていないスパイクタイミング依存塑性(STDP)ルールで訓練された畳み込みスパイキングニューラルネットワーク(CSNN)を用いて行動分類を行う。 本研究では,2ストリームCSNNが,限られたトレーニングデータを用いてもビデオから情報を抽出できることを示す。
• 参考スコア（独自算出の注目度）: 1.9981375888949475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video analysis is a computer vision task that is useful for many applications like surveillance, human-machine interaction, and autonomous vehicles. Deep Convolutional Neural Networks (CNNs) are currently the state-of-the-art methods for video analysis. However they have high computational costs, and need a large amount of labeled data for training. In this paper, we use Convolutional Spiking Neural Networks (CSNNs) trained with the unsupervised Spike Timing-Dependent Plasticity (STDP) learning rule for action classification. These networks represent the information using asynchronous low-energy spikes. This allows the network to be more energy efficient and neuromorphic hardware-friendly. However, the behaviour of CSNNs is not studied enough with spatio-temporal computer vision models. Therefore, we explore transposing two-stream neural networks into the spiking domain. Implementing this model with unsupervised STDP-based CSNNs allows us to further study the performance of these networks with video analysis. In this work, we show that two-stream CSNNs can successfully extract spatio-temporal information from videos despite using limited training data, and that the spiking spatial and temporal streams are complementary. We also show that using a spatio-temporal stream within a spiking STDP-based two-stream architecture leads to information redundancy and does not improve the performance.
• Abstract（参考訳）: ビデオ分析はコンピュータビジョンタスクであり、監視、人間と機械のインタラクション、自動運転車といった多くのアプリケーションに役立ちます。 深層畳み込みニューラルネットワーク(cnns)は現在、ビデオ解析の最先端の手法である。 しかし、計算コストが高く、トレーニングには大量のラベル付きデータが必要である。 本稿では,非教師付きスパイクタイミング依存可塑性(stdp)学習規則を用いて学習した畳み込みスパイクニューラルネットワーク(csnn)を用いて行動分類を行う。 これらのネットワークは、非同期の低エネルギースパイクを使って情報を表現する。 これにより、ネットワークはよりエネルギー効率が高く、ニューロモルフィックなハードウェアフレンドリーになる。 しかし、CSNNの挙動は時空間コンピュータビジョンモデルでは十分に研究されていない。 そこで,二流ニューラルネットワークのスパイキング領域への変換について検討する。 このモデルを教師なしSTDPベースのCSNNで実装することで、ビデオ解析によりこれらのネットワークの性能をさらに研究することができる。 本研究では,2ストリームのCSNNが,限られたトレーニングデータを使用しながらビデオから時空間情報を抽出し,時空間ストリームと時空間ストリームが相補的であることを示す。 また,STDPをベースとした2ストリームアーキテクチャにおける時空間ストリームの利用は情報冗長性をもたらし,性能が向上しないことを示す。

関連論文リスト

• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition [1.2123876307427106]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実装される場合、通常の非スパイキングネットワークよりも計算コスト(数倍)が著しく低い。 本稿では,ビデオ解析に必要なパラメータ数を削減すべく,S3TC(Spike Separated Space and Temporal Convolutions)を初めて紹介する。
  論文  参考訳（メタデータ） (2023-09-22T10:05:35Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Backdoor Attack Detection in Computer Vision by Applying Matrix Factorization on the Weights of Deep Networks [6.44397009982949]
  本稿では,事前訓練したDNNの重みから特徴を抽出するバックドア検出手法を提案する。 他の検出技術と比較して、これはトレーニングデータを必要としないなど、多くのメリットがある。 提案手法は, 競合するアルゴリズムよりも効率性が高く, より正確であり, 深層学習とAIの安全な適用を確実にするのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T20:20:18Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• 2D versus 3D Convolutional Spiking Neural Networks Trained with Unsupervised STDP for Human Action Recognition [1.9981375888949475]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理する第3世代生物可塑性モデルである。 スパイクタイミング依存塑性(STDP)ルールを用いたSNNによる教師なし学習は、ボトルネックを克服する可能性がある。 本稿では,STDPベースの畳み込みSNNが3次元カーネルを用いて動きパターンを学習し,動画からの動きに基づく認識を可能にすることを示す。
  論文  参考訳（メタデータ） (2022-05-26T16:34:22Z)
• A Study On the Effects of Pre-processing On Spatio-temporal Action Recognition Using Spiking Neural Networks Trained with STDP [0.0]
  ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。 本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。 スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
  論文  参考訳（メタデータ） (2021-05-31T07:07:48Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• 1D CNN Based Network Intrusion Detection with Normalization on Imbalanced Data [0.19336815376402716]
  侵入検知システム(IDS)は、コンピュータネットワークにおいて、コンピュータ資源とデータを外部攻撃から保護する重要な役割を担っている。 最近のIDSは、予期せぬ、予測不能な攻撃に対するIDSの柔軟性と効率性を向上する課題に直面している。 1次元畳み込みニューラルネットワーク(1D-CNN)を用いた効率的かつ柔軟なIDS構築のための深層学習手法を提案する。
  論文  参考訳（メタデータ） (2020-03-01T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。