論文の概要: Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation

• arxiv url: http://arxiv.org/abs/2408.09108v2
• Date: Wed, 27 Nov 2024 04:25:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:25.190892
• Title: Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation
• Title（参考訳）: 時空間表現を一般化したスパイキングニューラルネットワークの時間反転学習
• Authors: Lin Zuo, Yongqi Ding, Wenwei Luo, Mengmeng Jing, Xianlong Tian, Kunshan Yang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、超低消費電力コンピューティングパラダイムとして広く注目を集めている。 近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率な推論や準最適性能に悩まされている。 本稿では,SNNの性能を最適化するために,TRT法を提案する。
• 参考スコア（独自算出の注目度）: 3.5624857747396814
• License:
• Abstract: Spiking neural networks (SNNs) have received widespread attention as an ultra-low power computing paradigm. Recent studies have focused on improving the feature extraction capability of SNNs, but they suffer from inefficient inference and suboptimal performance. In this paper, we propose a simple yet effective temporal reversed training (TRT) method to optimize the spatio-temporal performance of SNNs and circumvent these problems. We perturb the input temporal data by temporal reversal, prompting the SNN to produce original-reversed consistent outputs and to learn perturbation-invariant representations. For static data without temporal dimension, we generalize this strategy by exploiting the inherent temporal property of SNNs for spike feature temporal reversal. In addition, we utilize the lightweight ``star operation" (element-wise multiplication) to hybridize the original and temporally reversed spike firing rates and expand the implicit dimensions, which serves as spatio-temporal regularization to further enhance the generalization of the SNN. Our method involves only a temporal reversal operation and element-wise multiplication during training, thus incurring negligible training overhead and not affecting the inference efficiency at all. Extensive experiments on static/neuromorphic object/action recognition, and 3D point cloud classification tasks demonstrate the effectiveness and generalizability of our method. In particular, with only two timesteps, our method achieves 74.77\% and 90.57\% accuracy on ImageNet and ModelNet40, respectively.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、超低消費電力コンピューティングパラダイムとして広く注目を集めている。 近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率な推論や準最適性能に悩まされている。 本稿では,SNNの時空間性能を最適化し,これらの問題を回避するための簡易かつ効果的な時間逆トレーニング(TRT)法を提案する。 入力時空間データを時間反転で摂動し、SNNが元の逆一貫した出力を生成し、摂動不変表現を学習する。 時間的次元を持たない静的データに対して、スパイク特徴時間反転のためにSNN固有の時間的特性を活用することで、この戦略を一般化する。 さらに、軽量な「星演算」(要素演算)を用いて、原点および時間反転したスパイク発火率をハイブリダイズし、暗黙の次元を拡大し、時空間正規化として機能し、SNNの一般化をさらに促進する。 本手法は, 時間反転操作と学習中の要素乗算のみを伴い, 無視できる訓練オーバーヘッドを発生させ, 推論効率には全く影響を与えない。 静的・ニューロモルフィックな物体/行動認識と3Dポイントクラウド分類タスクに関する大規模な実験により,本手法の有効性と一般化性を示した。 特に,2つのタイムステップで,画像NetとModelNet40でそれぞれ74.77\%,90.57\%の精度を達成した。

関連論文リスト

• Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段として注目を集めている。 本研究では,EventPropProp形式に基づくSNNのための新しいイベントベーストレーニング手法を提案する。 提案手法は,現在最先端の遅延学習手法のメモリの半分以下を用いており,最大26倍高速であることを示す。
  論文  参考訳（メタデータ） (2025-01-13T13:44:34Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• The Role of Temporal Hierarchy in Spiking Neural Networks [2.0881857682885836]
  スパイキングニューラルネットワーク(SNN)は、空間的パラメータと時間的パラメータの両方を活用することにより、リッチ時間信号処理の可能性を秘めている。 最近、時間定数は、ネットワークで必要とされるパラメータの総数を減らすのに役立つ計算上の利点があることが示されている。 最適化のコストを削減するために、この場合、時間領域においてアーキテクチャバイアスを適用することができる。 本稿では,SNNの隠蔽層に時間的表現の階層を付加し,そのような帰納的バイアスが性能を向上させることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-26T16:00:20Z)
• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency [9.545711665562715]
  スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。 現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。 我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
  論文  参考訳（メタデータ） (2023-05-23T15:50:07Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。