論文の概要: Efficient Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment

• arxiv url: http://arxiv.org/abs/2501.15925v1
• Date: Mon, 27 Jan 2025 10:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:17.997794
• Title: Efficient Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment
• Title（参考訳）: フルレンジタイムステップ展開のためのディープスパイクニューラルネットワークの高効率蒸留
• Authors: Chengting Yu, Xiaochen Zhao, Lei Liu, Shu Yang, Gaoang Wang, Erping Li, Aili Wang,
• Abstract要約: 従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 これにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論のタイムステップによるデプロイメントの課題に直面し、調整の再トレーニングが必要で、運用の柔軟性が制限される。 本研究では, 深部SNNのための新しい蒸留フレームワークを提案する。これは, 特定の再トレーニングを伴わずに, 性能を最適化し, 有効性と適応性を両立させる。
• 参考スコア（独自算出の注目度）: 10.026742974971189
• License:
• Abstract: Spiking Neural Networks (SNNs) are emerging as a brain-inspired alternative to traditional Artificial Neural Networks (ANNs), prized for their potential energy efficiency on neuromorphic hardware. Despite this, SNNs often suffer from accuracy degradation compared to ANNs and face deployment challenges due to fixed inference timesteps, which require retraining for adjustments, limiting operational flexibility. To address these issues, our work considers the spatio-temporal property inherent in SNNs, and proposes a novel distillation framework for deep SNNs that optimizes performance across full-range timesteps without specific retraining, enhancing both efficacy and deployment adaptability. We provide both theoretical analysis and empirical validations to illustrate that training guarantees the convergence of all implicit models across full-range timesteps. Experimental results on CIFAR-10, CIFAR-100, CIFAR10-DVS, and ImageNet demonstrate state-of-the-art performance among distillation-based SNNs training methods.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる脳にインスパイアされた代替品として登場し、ニューロモルフィックハードウェア上での潜在的なエネルギー効率で評価されている。 これにもかかわらず、SNNは、ANNと比較して精度の低下や、固定された推論タイムステップによるデプロイメント上の課題に悩まされることが多く、調整の再トレーニングが必要で、運用の柔軟性が制限される。 これらの課題に対処するため,本研究では,SNNに固有の時空間特性を考察し,特定の再トレーニングを伴わずに全時間経過における性能を最適化し,有効性とデプロイメントの適合性を向上する深部SNNのための新しい蒸留フレームワークを提案する。 理論解析と経験的検証の両方を提供し、トレーニングが全範囲のタイムステップにまたがるすべての暗黙的モデルの収束を保証することを示す。 CIFAR-10, CIFAR-100, CIFAR10-DVS, ImageNetの実験結果から, 蒸留によるSNN訓練手法の最先端性能が示された。

関連論文リスト

• Temporal Misalignment and Probabilistic Neurons [17.73940693302129]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりもエネルギー効率の良い代替手段を提供する 本研究では,ANN-SNN変換フレームワークにおいて,時間的ミスアライメント(temporal misalignment)と呼ばれる現象を同定する。 生物学的に可塑性二相確率性(TPP)刺激ニューロンを導入し,変換過程をさらに強化した。
  論文  参考訳（メタデータ） (2025-02-20T12:09:30Z)
• Training a General Spiking Neural Network with Improved Efficiency and Minimum Latency [4.503744528661997]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動方式で動作し、バイナリスパイク表現を使用する。 本稿では,限られた時間ステップで特徴学習とアクティベーション効率を向上させるための一般的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T09:54:44Z)
• Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training [0.8602553195689513]
  従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。 本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。 本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:57:32Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
  SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。 通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。 また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
  論文  参考訳（メタデータ） (2021-10-06T16:48:48Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。