論文の概要: Rethinking Spiking Neural Networks from an Ensemble Learning Perspective

• arxiv url: http://arxiv.org/abs/2502.14218v1
• Date: Thu, 20 Feb 2025 03:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:07.334940
• Title: Rethinking Spiking Neural Networks from an Ensemble Learning Perspective
• Title（参考訳）: アンサンブル学習の視点からのスパイクニューラルネットワークの再考
• Authors: Yongqi Ding, Lin Zuo, Mengmeng Jing, Pei He, Hanpu Deng,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はエネルギー効率が優れているが、限られた性能に悩まされている。 本稿では,SNNをアーキテクチャと重みを共有するテンポラルワークのアンサンブルとみなす。 我々は初期膜電位分布の整合性を促進し、膜電位の平滑化と時間的に隣接するサブネットワークガイダンスを通して出力する。
• 参考スコア（独自算出の注目度）: 4.823440259626247
• License:
• Abstract: Spiking neural networks (SNNs) exhibit superior energy efficiency but suffer from limited performance. In this paper, we consider SNNs as ensembles of temporal subnetworks that share architectures and weights, and highlight a crucial issue that affects their performance: excessive differences in initial states (neuronal membrane potentials) across timesteps lead to unstable subnetwork outputs, resulting in degraded performance. To mitigate this, we promote the consistency of the initial membrane potential distribution and output through membrane potential smoothing and temporally adjacent subnetwork guidance, respectively, to improve overall stability and performance. Moreover, membrane potential smoothing facilitates forward propagation of information and backward propagation of gradients, mitigating the notorious temporal gradient vanishing problem. Our method requires only minimal modification of the spiking neurons without adapting the network structure, making our method generalizable and showing consistent performance gains in 1D speech, 2D object, and 3D point cloud recognition tasks. In particular, on the challenging CIFAR10-DVS dataset, we achieved 83.20\% accuracy with only four timesteps. This provides valuable insights into unleashing the potential of SNNs.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)はエネルギー効率が優れているが、限られた性能に悩まされている。 本稿では,SNNをアーキテクチャと重みを共有する時限サブネットのアンサンブルとみなし,その性能に影響を及ぼす重要な課題を浮き彫りにする。 これを軽減するために, 膜電位分布の整合性, 膜電位の平滑化による出力, 時間的に隣接するサブネットワークガイダンスをそれぞれ促進し, 全体的な安定性と性能を向上させる。 さらに、膜電位の平滑化は、情報伝達と勾配の後方伝播を促進し、悪名高い時間勾配の消滅問題を緩和する。 提案手法では,1次元音声,2次元オブジェクト,3次元点クラウド認識タスクにおいて,ネットワーク構造を適応させることなく,スパイキングニューロンの最小限の修正しか必要とせず,一貫した性能向上が期待できる。 特に、挑戦的なCIFAR10-DVSデータセットでは、わずか4つのタイムステップで83.20\%の精度を達成した。 これにより、SNNの可能性を解き放つための貴重な洞察が得られる。

関連論文リスト

• FSTA-SNN:Frequency-based Spatial-Temporal Attention Module for Spiking Neural Networks [6.185559627969663]
  ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場 本研究では,SNNの固有特性を時間的・空間的両面から解析する。 SNNにおける特徴学習を強化するために,周波数に基づく空間注意モジュール(FSTA)を提案する。
  論文  参考訳（メタデータ） (2024-12-15T08:23:58Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
  スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。 適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
  論文  参考訳（メタデータ） (2021-05-27T08:38:31Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。