論文の概要: LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model

• arxiv url: http://arxiv.org/abs/2402.00411v2
• Date: Wed, 09 Oct 2024 02:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:46.363899
• Title: LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model
• Title（参考訳）: LM-HT SNN:学習可能な多階層閾値モデルによるSNN対ANNカウンタの性能向上
• Authors: Zecheng Hao, Xinyu Shi, Yujia Liu, Zhaofei Yu, Tiejun Huang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。 SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。 本稿では,グローバル入力電流と膜電位リークを動的に制御できる等価多閾値モデルであるLM-HTモデルを提案する。
• 参考スコア（独自算出の注目度）: 42.13762207316681
• License:
• Abstract: Compared to traditional Artificial Neural Network (ANN), Spiking Neural Network (SNN) has garnered widespread academic interest for its intrinsic ability to transmit information in a more energy-efficient manner. However, despite previous efforts to optimize the learning algorithm of SNNs through various methods, SNNs still lag behind ANNs in terms of performance. The recently proposed multi-threshold model provides more possibilities for further enhancing the learning capability of SNNs. In this paper, we rigorously analyze the relationship among the multi-threshold model, vanilla spiking model and quantized ANNs from a mathematical perspective, then propose a novel LM-HT model, which is an equidistant multi-threshold model that can dynamically regulate the global input current and membrane potential leakage on the time dimension. The LM-HT model can also be transformed into a vanilla single threshold model through reparameterization, thereby achieving more flexible hardware deployment. In addition, we note that the LM-HT model can seamlessly integrate with ANN-SNN Conversion framework under special initialization. This novel hybrid learning framework can effectively improve the relatively poor performance of converted SNNs under low time latency. Extensive experimental results have demonstrated that our model can outperform previous state-of-the-art works on various types of datasets, which promote SNNs to achieve a brand-new level of performance comparable to quantized ANNs. Code is available at https://github.com/hzc1208/LMHT_SNN.
• Abstract（参考訳）: 従来のニューラルネットワーク(ANN)と比較して、スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。 しかし、SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。 最近提案されたマルチスレッドモデルにより、SNNの学習能力をさらに強化する可能性がさらに高まった。 本稿では,多閾値モデル,バニラスパイクモデル,量子化ANNの関係を数学的観点から厳密に分析し,時間次元のグローバル入力電流および膜電位リークを動的に制御可能な等価多閾値モデルであるLM-HTモデルを提案する。 LM-HTモデルは、再パラメータ化によってバニラ単一しきい値モデルに変換することもできるため、より柔軟なハードウェア展開を実現することができる。 さらに, LM-HTモデルが特別な初期化の下で, ANN-SNN Conversionフレームワークとシームレスに統合可能であることに留意する。 この新しいハイブリッド学習フレームワークは、低レイテンシで変換されたSNNの比較的貧弱な性能を効果的に向上させることができる。 大規模な実験結果から,SNN が量子化 ANN に匹敵する真に新しいレベルの性能を達成するために,SNN を推し進める様々な種類のデータセットにおいて,我々のモデルが過去の最先端の作業より優れていることが示された。 コードはhttps://github.com/hzc1208/LMHT_SNNで公開されている。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。 提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
  論文  参考訳（メタデータ） (2024-09-05T09:14:44Z)
• Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network [10.760652747217668]
  スパイキングニューラルネットワーク(SNN)は、神経科学のメカニズムをシミュレートするために、多分野の領域で研究されている。 離散理論の欠如は、その性能と非線形性のサポートを制限することによって、SNNの実用化を妨げている。 我々は、スパイキングニューロンの離散力学の新しい最適化理論的視点を示す。
  論文  参考訳（メタデータ） (2024-07-01T02:09:20Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• Learning Long Sequences in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。 トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
  論文  参考訳（メタデータ） (2023-12-14T13:30:27Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation [20.487853773309563]
  スパイキングニューラルネットワーク(SNN)は、高い計算効率を持つ脳にインスパイアされたモデルとしてよく知られている。 知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。
  論文  参考訳（メタデータ） (2023-04-12T05:57:21Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。