論文の概要: Temporal Flexibility in Spiking Neural Networks: Towards Generalization Across Time Steps and Deployment Friendliness
- arxiv url: http://arxiv.org/abs/2503.17394v1
- Date: Tue, 18 Mar 2025 06:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:40:10.325300
- Title: Temporal Flexibility in Spiking Neural Networks: Towards Generalization Across Time Steps and Deployment Friendliness
- Title（参考訳）: スパイクニューラルネットワークにおける時間的フレキシビリティ:時間ステップと展開フレンドリーの一般化に向けて
- Authors: Kangrui Du, Yuhang Wu, Shikuang Deng, Shi Gu,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにエネルギー効率の高い実装を可能にする。
現在、現在のダイレクトトレーニングアプローチでトレーニングされているSNNは、特定の時間ステップに制限されている。
SNNの時間的柔軟性を改善する新しい手法であるMixed Time-step Training (MTT)を導入する。
- 参考スコア（独自算出の注目度）: 15.841764541165238
- License:
- Abstract: Spiking Neural Networks (SNNs), models inspired by neural mechanisms in the brain, allow for energy-efficient implementation on neuromorphic hardware. However, SNNs trained with current direct training approaches are constrained to a specific time step. This "temporal inflexibility" 1) hinders SNNs' deployment on time-step-free fully event-driven chips and 2) prevents energy-performance balance based on dynamic inference time steps. In this study, we first explore the feasibility of training SNNs that generalize across different time steps. We then introduce Mixed Time-step Training (MTT), a novel method that improves the temporal flexibility of SNNs, making SNNs adaptive to diverse temporal structures. During each iteration of MTT, random time steps are assigned to different SNN stages, with spikes transmitted between stages via communication modules. After training, the weights are deployed and evaluated on both time-stepped and fully event-driven platforms. Experimental results show that models trained by MTT gain remarkable temporal flexibility, friendliness for both event-driven and clock-driven deployment (nearly lossless on N-MNIST and 10.1% higher than standard methods on CIFAR10-DVS), enhanced network generalization, and near SOTA performance. To the best of our knowledge, this is the first work to report the results of large-scale SNN deployment on fully event-driven scenarios.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳内の神経機構にインスパイアされたモデルであり、ニューロモルフィックハードウェアへのエネルギー効率の高い実装を可能にする。
しかしながら、現在のダイレクトトレーニングアプローチでトレーニングされたSNNは、特定の時間ステップに制限される。
この「時間的非フレキシビリティ」
1)SNNのタイムステップフリー完全イベント駆動チップへの展開を妨げる。
2)動的推論時間ステップに基づくエネルギー・性能バランスの防止。
本研究では、まず、異なる時間ステップにまたがって一般化する訓練SNNの実現可能性について検討する。
次に、SNNの時間的柔軟性を向上させる新しい手法であるMixed Time-step Training (MTT)を導入し、SNNを多様な時間的構造に適応させる。
MTTの各イテレーションでは、ランダムな時間ステップが異なるSNNステージに割り当てられ、通信モジュールを介してステージ間でスパイクが送信される。
トレーニング後、ウェイトはタイムステップとイベント駆動プラットフォームの両方にデプロイされ、評価される。
MTTでトレーニングされたモデルは、時間的柔軟性、イベント駆動とクロック駆動のデプロイメント(N-MNISTでは損失がほとんどなく、CIFAR10-DVSでは標準手法よりも10.1%高い)、ネットワークの一般化、SOTA性能に近い)に優れていた。
私たちの知る限りでは、完全なイベント駆動シナリオにおける大規模SNNデプロイメントの結果を報告するのはこれが初めてです。
関連論文リスト
- Efficient Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment [10.026742974971189]
従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場
これにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論のタイムステップによるデプロイメントの課題に直面し、調整の再トレーニングが必要で、運用の柔軟性が制限される。
本研究では, 深部SNNのための新しい蒸留フレームワークを提案する。これは, 特定の再トレーニングを伴わずに, 性能を最適化し, 有効性と適応性を両立させる。
論文 参考訳（メタデータ） (2025-01-27T10:22:38Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Training a General Spiking Neural Network with Improved Efficiency and
Minimum Latency [4.503744528661997]
スパイキングニューラルネットワーク(SNN)は、イベント駆動方式で動作し、バイナリスパイク表現を使用する。
本稿では,限られた時間ステップで特徴学習とアクティベーション効率を向上させるための一般的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-05T09:54:44Z) - Temporal Contrastive Learning for Spiking Neural Networks [23.963069990569714]
生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。
本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T10:31:46Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。
高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
論文 参考訳（メタデータ） (2022-03-02T14:59:57Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。