論文の概要: Efficient ANN-Guided Distillation: Aligning Rate-based Features of Spiking Neural Networks through Hybrid Block-wise Replacement

• arxiv url: http://arxiv.org/abs/2503.16572v1
• Date: Thu, 20 Mar 2025 09:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:12.209991
• Title: Efficient ANN-Guided Distillation: Aligning Rate-based Features of Spiking Neural Networks through Hybrid Block-wise Replacement
• Title（参考訳）: 効率的なANN誘導蒸留:ハイブリッドブロックワイド交換によるスパイキングニューラルネットワークの速度に基づく特徴の調整
• Authors: Shu Yang, Chengting Yu, Lei Liu, Hanzhi Ma, Aili Wang, Erping Li,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)の代替としてかなりの注目を集めている。 最近の研究は、大規模データセットにおけるSNNの可能性を強調している。
• 参考スコア（独自算出の注目度）: 3.4776100606469096
• License:
• Abstract: Spiking Neural Networks (SNNs) have garnered considerable attention as a potential alternative to Artificial Neural Networks (ANNs). Recent studies have highlighted SNNs' potential on large-scale datasets. For SNN training, two main approaches exist: direct training and ANN-to-SNN (ANN2SNN) conversion. To fully leverage existing ANN models in guiding SNN learning, either direct ANN-to-SNN conversion or ANN-SNN distillation training can be employed. In this paper, we propose an ANN-SNN distillation framework from the ANN-to-SNN perspective, designed with a block-wise replacement strategy for ANN-guided learning. By generating intermediate hybrid models that progressively align SNN feature spaces to those of ANN through rate-based features, our framework naturally incorporates rate-based backpropagation as a training method. Our approach achieves results comparable to or better than state-of-the-art SNN distillation methods, showing both training and learning efficiency.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)の代替としてかなりの注目を集めている。 最近の研究は、大規模データセットにおけるSNNの可能性を強調している。 SNNトレーニングには、ダイレクトトレーニングとANN-to-SNN(ANN2SNN)変換という2つのアプローチがある。 SNN学習の指導において既存のANNモデルを十分に活用するために、直接ANN-to-SNN変換またはANN-SNN蒸留訓練を用いることができる。 本稿では,ANN誘導学習のブロックワイズ代替戦略を用いて設計したANN-SNN蒸留フレームワークを提案する。 SNN特徴空間とANNの特徴空間を段階的に整合させる中間的ハイブリッドモデルを生成することにより、我々のフレームワークは、レートに基づくバックプロパゲーションをトレーニング手法として自然に組み込むことができる。 提案手法は, 従来のSNN蒸留法に匹敵する結果を得ることができ, 学習効率と学習効率の両立を図っている。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と生物学的妥当性から近年関心を集めている。 SNNの最良の学習アルゴリズムについては合意がない。 本稿では,DENSERに基づくSNN生成フレームワークであるSPENSERを提案する。
  論文  参考訳（メタデータ） (2023-05-18T14:06:37Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
  スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。 トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。 レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-17T03:49:35Z)
• Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation [3.1247096708403914]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場している 本研究では,磁気共鳴画像からヒト海馬を抽出するためのハイブリッドSNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T20:18:57Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks [43.046402416604245]
  Spiking Neural Networks(SNN)は、バイオインスパイアされたエネルギー効率の高いニューラルネットワークである。 本稿では,ANN-SNN変換を理論的に解析し,最適変換の十分な条件を導出する。 提案手法は, VGG-16, PreActResNet-18, およびより深い構造を用いて, ほぼ損失の少ない変換を実現する。
  論文  参考訳（メタデータ） (2021-05-25T04:15:06Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Training Deep Spiking Neural Networks [0.0]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。 CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。 訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
  論文  参考訳（メタデータ） (2020-06-08T09:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。