論文の概要: Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation
- arxiv url: http://arxiv.org/abs/2408.09108v1
- Date: Sat, 17 Aug 2024 06:23:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 22:46:56.228298
- Title: Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation
- Title（参考訳）: 時空間表現を一般化したスパイキングニューラルネットワークの時間反転学習
- Authors: Lin Zuo, Yongqi Ding, Wenwei Luo, Mengmeng Jing, Xianlong Tian, Kunshan Yang,
- Abstract要約: スパイニューラルネットワーク(SNN)は、超低エネルギーコンピューティングパラダイムとして広く注目を集めている。
近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率性や準最適性能に悩まされている。
私たち。
SNNの時間的性能を最適化するために,TRT法を提案する。
- 参考スコア（独自算出の注目度）: 3.5624857747396814
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spiking neural networks (SNNs) have received widespread attention as an ultra-low energy computing paradigm. Recent studies have focused on improving the feature extraction capability of SNNs, but they suffer from inefficient inference and suboptimal performance. In this paper, we propose a simple yet effective temporal reversed training (TRT) method to optimize the spatio-temporal performance of SNNs and circumvent these problems. We perturb the input temporal data by temporal reversal, prompting the SNN to produce original-reversed consistent output logits and to learn perturbation-invariant representations. For static data without temporal dimension, we generalize this strategy by exploiting the inherent temporal property of spiking neurons for spike feature temporal reversal. In addition, we utilize the lightweight ``star operation" (element-wise multiplication) to hybridize the original and temporally reversed spike firing rates and expand the implicit dimensions, which serves as spatio-temporal regularization to further enhance the generalization of the SNN. Our method involves only an additional temporal reversal operation and element-wise multiplication during training, thus incurring negligible training overhead and not affecting the inference efficiency at all. Extensive experiments on static/neuromorphic object/action recognition, and 3D point cloud classification tasks demonstrate the effectiveness and generalizability of our method. In particular, with only two timesteps, our method achieves 74.77\% and 90.57\% accuracy on ImageNet and ModelNet40, respectively.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、超低エネルギーコンピューティングパラダイムとして広く注目を集めている。
近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率な推論や準最適性能に悩まされている。
本稿では,SNNの時空間性能を最適化し,これらの問題を回避するための簡易かつ効果的な時間逆トレーニング(TRT)法を提案する。
入力時空間データを時間反転で摂動し、SNNが元の逆一貫した出力ロジットを生成し、摂動不変表現を学習する。
時間的次元を持たない静的データに対しては、スパイク特性の時間反転にスパイクニューロン固有の時間的特性を利用することにより、この戦略を一般化する。
さらに、軽量な「星演算」(要素演算)を用いて、原点および時間反転したスパイク発火率をハイブリダイズし、暗黙の次元を拡大し、時空間正規化として機能し、SNNの一般化をさらに促進する。
本手法は,訓練中の時間的逆転操作と要素的乗算のみを伴い,無視できる訓練オーバーヘッドを発生させ,推論効率にまったく影響を与えない。
静的・ニューロモルフィックな物体/行動認識と3Dポイントクラウド分類タスクに関する大規模な実験により,本手法の有効性と一般化性を示した。
特に,2つのタイムステップで,画像NetとModelNet40でそれぞれ74.77\%,90.57\%の精度を達成した。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - The Role of Temporal Hierarchy in Spiking Neural Networks [2.0881857682885836]
スパイキングニューラルネットワーク(SNN)は、空間的パラメータと時間的パラメータの両方を活用することにより、リッチ時間信号処理の可能性を秘めている。
最近、時間定数は、ネットワークで必要とされるパラメータの総数を減らすのに役立つ計算上の利点があることが示されている。
最適化のコストを削減するために、この場合、時間領域においてアーキテクチャバイアスを適用することができる。
本稿では,SNNの隠蔽層に時間的表現の階層を付加し,そのような帰納的バイアスが性能を向上させることを明らかにする。
論文 参考訳（メタデータ） (2024-07-26T16:00:20Z) - FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する
本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。
さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
論文 参考訳（メタデータ） (2024-03-27T09:25:20Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Improving Stability and Performance of Spiking Neural Networks through
Enhancing Temporal Consistency [9.545711665562715]
スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。
現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。
我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
論文 参考訳（メタデータ） (2023-05-23T15:50:07Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳（メタデータ） (2023-02-28T05:01:01Z) - Energy Efficient Training of SNN using Local Zeroth Order Method [18.81001891391638]
ニューラルネットワークのスパイクは、現実世界のタスクにおける低エネルギー要求でますます人気が高まっている。
SNNトレーニングアルゴリズムは、Heaviside関数による勾配情報と非微分可能性の喪失に直面している。
本稿では,後方パスにおけるHeavisideの微分可能近似を提案し,前方パスはHeavisideをスパイク関数として利用する。
論文 参考訳（メタデータ） (2023-02-02T06:57:37Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。