論文の概要: S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition

• arxiv url: http://arxiv.org/abs/2309.12761v1
• Date: Fri, 22 Sep 2023 10:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 14:59:18.443632
• Title: S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition
• Title（参考訳）: S3TC:非教師なしSTDPに基づく行動認識学習による空間的・時間的畳み込みのスパイキング
• Authors: Mireille El-Assal and Pierre Tirilly and Ioan Marius Bilasco
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実装される場合、通常の非スパイキングネットワークよりも計算コスト(数倍)が著しく低い。 本稿では,ビデオ解析に必要なパラメータ数を削減すべく,S3TC(Spike Separated Space and Temporal Convolutions)を初めて紹介する。
• 参考スコア（独自算出の注目度）: 1.2123876307427106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video analysis is a major computer vision task that has received a lot of attention in recent years. The current state-of-the-art performance for video analysis is achieved with Deep Neural Networks (DNNs) that have high computational costs and need large amounts of labeled data for training. Spiking Neural Networks (SNNs) have significantly lower computational costs (thousands of times) than regular non-spiking networks when implemented on neuromorphic hardware. They have been used for video analysis with methods like 3D Convolutional Spiking Neural Networks (3D CSNNs). However, these networks have a significantly larger number of parameters compared with spiking 2D CSNN. This, not only increases the computational costs, but also makes these networks more difficult to implement with neuromorphic hardware. In this work, we use CSNNs trained in an unsupervised manner with the Spike Timing-Dependent Plasticity (STDP) rule, and we introduce, for the first time, Spiking Separated Spatial and Temporal Convolutions (S3TCs) for the sake of reducing the number of parameters required for video analysis. This unsupervised learning has the advantage of not needing large amounts of labeled data for training. Factorizing a single spatio-temporal spiking convolution into a spatial and a temporal spiking convolution decreases the number of parameters of the network. We test our network with the KTH, Weizmann, and IXMAS datasets, and we show that S3TCs successfully extract spatio-temporal information from videos, while increasing the output spiking activity, and outperforming spiking 3D convolutions.
• Abstract（参考訳）: ビデオ分析はコンピュータビジョンの主要なタスクであり、近年多くの注目を集めている。 ビデオ解析の最先端性能は、高い計算コストと大量のラベル付きデータを必要とするディープニューラルネットワーク(DNN)によって達成されている。 スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実装される場合、通常の非スパイキングネットワークよりも計算コスト(数倍)が著しく低い。 それらは3D Convolutional Spiking Neural Networks (3D CSNNs)のような方法でビデオ解析に使われている。 しかし、これらのネットワークは2D CSNNよりもはるかに多くのパラメータを持つ。 これは計算コストを増加させるだけでなく、ニューロモルフィックなハードウェアでこれらのネットワークを実装するのを難しくする。 本研究では,spike timing-dependent plasticity (stdp) の規則に従って教師なしで訓練されたcsnnを用いて,映像解析に必要なパラメータ数を減らすために,s3tcs(spike separated spatial and temporal convolutions)を初めて導入する。 この教師なし学習は、トレーニングに大量のラベル付きデータを必要としないという利点がある。 空間的および時間的スパイク畳み込みに単一の時空間スパイク畳み込みを分解することで、ネットワークのパラメータの数を減少させる。 我々は、KTH、Weizmann、IXMASデータセットを用いてネットワークをテストし、S3TCがビデオから時空間情報を抽出し、出力スパイク活性を増大させ、3Dコンボリューションよりも優れていることを示す。

関連論文リスト

• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings [1.534667887016089]
  スパイキングニューラルネットワーク(SNN)は、電力効率の高い情報処理システムを構築する上で有望な研究方向である。 SNNでは、1つのスパイクが1つのニューロンから別のニューロンに移動するのに必要な時間を指す。 塑性遅延がSNNの表現性を大幅に向上させることが理論的に示されている。 本稿では,この問題をバックプロパゲーションを用いたディープフィードフォワードSNNで処理する離散時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-30T14:01:53Z)
• Spiking Two-Stream Methods with Unsupervised STDP-based Learning for Action Recognition [1.9981375888949475]
  ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)は、現在、ビデオ分析のための最先端の手法である。 我々は、制御されていないスパイクタイミング依存塑性(STDP)ルールで訓練された畳み込みスパイキングニューラルネットワーク(CSNN)を用いて行動分類を行う。 本研究では,2ストリームCSNNが,限られたトレーニングデータを用いてもビデオから情報を抽出できることを示す。
  論文  参考訳（メタデータ） (2023-06-23T20:54:44Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• 2D versus 3D Convolutional Spiking Neural Networks Trained with Unsupervised STDP for Human Action Recognition [1.9981375888949475]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理する第3世代生物可塑性モデルである。 スパイクタイミング依存塑性(STDP)ルールを用いたSNNによる教師なし学習は、ボトルネックを克服する可能性がある。 本稿では,STDPベースの畳み込みSNNが3次元カーネルを用いて動きパターンを学習し,動画からの動きに基づく認識を可能にすることを示す。
  論文  参考訳（メタデータ） (2022-05-26T16:34:22Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs [32.054160078692036]
  3D CNNを高いスパーシティレベルにプルーンするResource Aware Neuron Pruning (RANP)アルゴリズムを紹介します。 提案アルゴリズムは, FLOPの約50%-95%の削減, メモリの35%-80%の削減を実現している。
  論文  参考訳（メタデータ） (2021-02-09T04:35:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)
• Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
  スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。 本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。 角速度回帰を行うためにSNNをうまく訓練できることが示される。
  論文  参考訳（メタデータ） (2020-03-05T17:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。