論文の概要: LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through
Learnable Multi-hierarchical Threshold Model
- arxiv url: http://arxiv.org/abs/2402.00411v1
- Date: Thu, 1 Feb 2024 08:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 16:01:28.433859
- Title: LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through
Learnable Multi-hierarchical Threshold Model
- Title(参考訳): LM-HT SNN:学習可能な多階層閾値モデルによるSNN対ANNカウンタの性能向上
- Authors: Zecheng Hao, Xinyu Shi, Zhiyu Pan, Yujia Liu, Zhaofei Yu, Tiejun Huang
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、情報伝達の本質的な能力に対して、広く学術的な関心を集めている。
本稿では,グローバル入力電流と膜電位リークを動的に制御できる同値多階層モデルであるLM-HTモデルを提案する。
- 参考スコア(独自算出の注目度): 43.803689602458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compared to traditional Artificial Neural Network (ANN), Spiking Neural
Network (SNN) has garnered widespread academic interest for its intrinsic
ability to transmit information in a more biological-inspired and
energy-efficient manner. However, despite previous efforts to optimize the
learning gradients and model structure of SNNs through various methods, SNNs
still lag behind ANNs in terms of performance to some extent. The recently
proposed multi-threshold model provides more possibilities for further
enhancing the learning capability of SNNs. In this paper, we rigorously analyze
the relationship among the multi-threshold model, vanilla spiking model and
quantized ANNs from a mathematical perspective, then propose a novel LM-HT
model, which is an equidistant multi-hierarchical model that can dynamically
regulate the global input current and membrane potential leakage on the time
dimension. In addition, we note that the direct training algorithm based on the
LM-HT model can seamlessly integrate with the traditional ANN-SNN Conversion
framework. This novel hybrid learning framework can effectively improve the
relatively poor performance of converted SNNs under low time latency. Extensive
experimental results have demonstrated that our LM-HT model can significantly
outperform previous state-of-the-art works on various types of datasets, which
promote SNNs to achieve a brand-new level of performance comparable to
quantized ANNs.
- Abstract(参考訳): 従来のニューラルネットワーク(ANN)と比較して、スパイキングニューラルネットワーク(SNN)は、より生物学的に着想を得たエネルギー効率の高い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。
しかし、SNNの学習勾配とモデル構造を様々な手法で最適化する以前の試みにもかかわらず、SNNはある程度の性能面でもANNに遅れを取っている。
最近提案されたマルチthresholdモデルにより、snsの学習能力をさらに高めることができる。
本稿では,マルチスレッショルドモデル,バニラスパイクモデル,および量子化ANNの関係を数学的観点から厳密に解析し,時間次元のグローバル入力電流と膜電位リークを動的に制御可能な,等価な多階層モデルであるLM-HTモデルを提案する。
さらに,LM-HTモデルに基づく直接学習アルゴリズムは,従来のANN-SNN Conversionフレームワークとシームレスに統合可能であることに留意する。
この新しいハイブリッド学習フレームワークは、低レイテンシで変換されたsnsのパフォーマンスを効果的に改善することができる。
我々のLM-HTモデルは,SNNが量子化ANNに匹敵する真に新しいレベルの性能を達成するために,様々な種類のデータセットにおける従来の最先端の成果を大幅に上回ることを示した。
関連論文リスト
- Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する
本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
論文 参考訳(メタデータ) (2024-05-06T09:58:54Z) - A Hybrid SNN-ANN Network for Event-based Object Detection with Spatial and Temporal Attention [2.5075774828443467]
イベントカメラは、時間分解能が高く、動きのぼやけが少ないダイナミックレンジを提供し、オブジェクト検出タスクを約束する。
Spiking Neural Networks(SNN)はイベントベースの知覚データに自然に一致するが、Artificial Neural Networks(ANN)はより安定したトレーニングダイナミクスを表示する傾向がある。
イベントカメラを用いたオブジェクト検出のための,最初のハイブリッドアテンションベースのSNN-ANNバックボーンを提案する。
論文 参考訳(メタデータ) (2024-03-15T10:28:31Z) - Learning Long Sequences in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。
トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
論文 参考訳(メタデータ) (2023-12-14T13:30:27Z) - Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。
提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-04T09:07:09Z) - Constructing Deep Spiking Neural Networks from Artificial Neural
Networks with Knowledge Distillation [20.487853773309563]
スパイキングニューラルネットワーク(SNN)は、高い計算効率を持つ脳にインスパイアされたモデルとしてよく知られている。
知識蒸留(KD)を用いた深部SNNモデル構築手法を提案する。
論文 参考訳(メタデータ) (2023-04-12T05:57:21Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-03-23T07:57:32Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。