論文の概要: Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff

• arxiv url: http://arxiv.org/abs/2301.09522v4
• Date: Sun, 02 Feb 2025 09:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:05:14.455463
• Title: Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff
• Title（参考訳）: 規則化とカットオフによるイベント駆動スパイクニューラルネットワークの最適化
• Authors: Dengyu Wu, Gaojie Jin, Han Yu, Xinping Yi, Xiaowei Huang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューラルネットワークのより近い模倣を提供する。 現在のSNNは一定期間にわたって推測するように訓練されている。 本稿では,効率的な推論を実現するため,推論中にいつでもSNNを停止できるSNNのカットオフを提案する。
• 参考スコア（独自算出の注目度）: 31.61525648918492
• License:
• Abstract: Spiking neural network (SNN), as the next generation of artificial neural network (ANN), offer a closer mimicry of natural neural networks and hold promise for significant improvements in computational efficiency. However, the current SNN is trained to infer over a fixed duration, overlooking the potential of dynamic inference in SNN. In this paper, we strengthen the marriage between SNN and event-driven processing with a proposal to consider a cutoff in SNN, which can terminate SNN anytime during inference to achieve efficient inference. Two novel optimisation techniques are presented to achieve inference efficient SNN: a Top-K cutoff and a regularisation.The proposed regularisation influences the training process, optimising SNN for the cutoff, while the Top-K cutoff technique optimises the inference phase. We conduct an extensive set of experiments on multiple benchmark frame-based datasets, such asCIFAR10/100, Tiny-ImageNet, and event-based datasets, including CIFAR10-DVS, N-Caltech101 and DVS128 Gesture. The experimental results demonstrate the effectiveness of our techniques in both ANN-to-SNN conversion and direct training, enabling SNNs to require 1.76 to 2.76x fewer timesteps for CIFAR-10, while achieving 1.64 to 1.95x fewer timesteps across all event-based datasets, with near-zero accuracy loss. These findings affirms the compatibility and potential benefits of our techniques in enhancing accuracy and reducing inference latency when integrated with existing methods. Code available: https://github.com/Dengyu-Wu/SNNCutoff
• Abstract（参考訳）: 次世代の人工知能ニューラルネットワーク(ANN)であるスパイキングニューラルネットワーク(SNN)は、ニューラルネットワークのより近い模倣を提供し、計算効率の大幅な向上を約束する。 しかし、現在のSNNは、SNNの動的推論の可能性を見越して、一定期間にわたって推論するように訓練されている。 本稿では,SNNとイベント駆動処理の結婚を強化し,推論中にいつでもSNNを終了させ,効率的な推論を実現するSNNの遮断を検討することを提案する。 提案手法は,Top-Kカットオフと正規化という,推論効率のよいSNNを実現するための2つの新しい最適化手法を提示し,提案手法はトレーニングプロセスに影響を与え,SNNをカットオフに最適化する一方,Top-Kカットオフ手法は推論フェーズを最適化する。 我々は、CIFAR10/100、Tiny-ImageNet、CIFAR10-DVS、N-Caltech101、DVS128 Gestureなど、複数のベンチマークフレームベースのデータセットに関する広範な実験を行う。 実験結果から,ANN-to-SNN変換とダイレクトトレーニングの両方において,SNNがCIFAR-10の1.76～2.76倍のタイムステップを要し,イベントベースデータセットの1.64～1.95倍のタイムステップを達成でき,精度がほぼゼロに近いことが示唆された。 これらの知見は,既存の手法と統合した場合の精度の向上と推論遅延の低減において,我々の手法の互換性と潜在的な利点を裏付けるものである。 コード提供:https://github.com/Dengyu-Wu/SNNCutoff

関連論文リスト

• Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。 本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。 本研究では,残膜電位に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:44:31Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
  スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。 ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。 本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
  論文  参考訳（メタデータ） (2022-02-03T07:15:43Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。