論文の概要: Dynamic Activation with Knowledge Distillation for Energy-Efficient Spiking NN Ensembles

• arxiv url: http://arxiv.org/abs/2502.14023v1
• Date: Wed, 19 Feb 2025 18:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:30:27.157902
• Title: Dynamic Activation with Knowledge Distillation for Energy-Efficient Spiking NN Ensembles
• Title（参考訳）: エネルギー効率の良いスパイクNNアンサンブルのための知識蒸留による動的活性化
• Authors: Orestis Konstantaropoulos, Theodoris Mallios, Maria Papadopouli,
• Abstract要約: 本研究では、知識蒸留とアンサンブル学習を組み合わせた新しいシステムを導入し、人工知能ニューラルネットワーク(ANN)とSNNのパフォーマンスギャップを埋める。 基礎的AIモデルは教師ネットワークとして機能し、スパイキングニューラル・アンサンブル(SNE)と呼ばれる小学生のSNNをアンサンブルに編成する。 SNEは教師ネットワークよりもはるかに効率的で、CIFAR-10データセットの精度をわずか2%低下させるだけで、計算要求を最大20倍削減できる。
• 参考スコア（独自算出の注目度）: 0.2621730497733947
• License:
• Abstract: While foundation AI models excel at tasks like classification and decision-making, their high energy consumption makes them unsuitable for energy-constrained applications. Inspired by the brain's efficiency, spiking neural networks (SNNs) have emerged as a viable alternative due to their event-driven nature and compatibility with neuromorphic chips. This work introduces a novel system that combines knowledge distillation and ensemble learning to bridge the performance gap between artificial neural networks (ANNs) and SNNs. A foundation AI model acts as a teacher network, guiding smaller student SNNs organized into an ensemble, called Spiking Neural Ensemble (SNE). SNE enables the disentanglement of the teacher's knowledge, allowing each student to specialize in predicting a distinct aspect of it, while processing the same input. The core innovation of SNE is the adaptive activation of a subset of SNN models of an ensemble, leveraging knowledge-distillation, enhanced with an informed-partitioning (disentanglement) of the teacher's feature space. By dynamically activating only a subset of these student SNNs, the system balances accuracy and energy efficiency, achieving substantial energy savings with minimal accuracy loss. Moreover, SNE is significantly more efficient than the teacher network, reducing computational requirements by up to 20x with only a 2% drop in accuracy on the CIFAR-10 dataset. This disentanglement procedure achieves an accuracy improvement of up to 2.4% on the CIFAR-10 dataset compared to other partitioning schemes. Finally, we comparatively analyze SNE performance under noisy conditions, demonstrating enhanced robustness compared to its ANN teacher. In summary, SNE offers a promising new direction for energy-constrained applications.
• Abstract（参考訳）: 基礎となるAIモデルは、分類や意思決定といったタスクに優れていますが、その高エネルギー消費は、エネルギー制約のあるアプリケーションには適していません。 脳の効率にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベント駆動型の性質とニューロモルフィックチップとの互換性のために、現実的な代替手段として登場した。 本研究では、知識蒸留とアンサンブル学習を組み合わせた新しいシステムを導入し、人工知能ニューラルネットワーク(ANN)とSNNのパフォーマンスギャップを埋める。 基礎となるAIモデルは教師ネットワークとして機能し、小さな学生SNNをSNE(Spike Neural Ensemble)と呼ばれるアンサンブルに編成する。 SNEは教師の知識の歪曲を可能にし、各生徒が同じ入力を処理しながら、その異なる側面を予測することを専門化できる。 SNEの中核的な革新は、アンサンブルのSNNモデルのサブセットを適応的に活性化し、知識蒸留を活用し、教師の特徴空間のインフォメーション・パーティショニング(切り離し)によって強化することである。 これらの学生SNNのサブセットのみを動的に活性化することにより、システムは精度とエネルギー効率のバランスを保ち、精度の低下を最小限に抑えることができる。 さらに、SNEは教師ネットワークよりもはるかに効率的で、CIFAR-10データセットの精度を2%低下させるだけで、計算要求を最大20倍に削減できる。 この切り離し手順は、他のパーティショニング方式と比較して、CIFAR-10データセットで最大2.4%の精度向上を実現している。 最後に、雑音条件下でのSNE性能を比較検討し、ANN教師と比較して強靭性を示す。 要約すると、SNEはエネルギー制約のあるアプリケーションに期待できる新しい方向性を提供する。

関連論文リスト

• Training a General Spiking Neural Network with Improved Efficiency and Minimum Latency [4.503744528661997]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動方式で動作し、バイナリスパイク表現を使用する。 本稿では,限られた時間ステップで特徴学習とアクティベーション効率を向上させるための一般的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T09:54:44Z)
• Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training [0.8602553195689513]
  従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。 本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。 本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:57:32Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
  効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。 我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
  論文  参考訳（メタデータ） (2022-05-24T18:08:16Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
  スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。 動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
  論文  参考訳（メタデータ） (2021-02-28T08:26:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
  Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。 画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。 我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
  論文  参考訳（メタデータ） (2020-05-01T09:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。