論文の概要: Multi-Bit Mechanism: A Novel Information Transmission Paradigm for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2407.05739v1
- Date: Mon, 8 Jul 2024 08:46:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 16:20:46.842796
- Title: Multi-Bit Mechanism: A Novel Information Transmission Paradigm for Spiking Neural Networks
- Title（参考訳）: マルチビットメカニズム:スパイクニューラルネットワークのための新しい情報伝達パラダイム
- Authors: Yongjun Xiao, Xianlong Tian, Yongqi Ding, Pei He, Mengmeng Jing, Lin Zuo,
- Abstract要約: スパイクニューラルネットワーク(SNN)は、高性能、低消費電力、生物学的解釈性の向上に対して認識される。
現在、スパイクのバイナリの性質はSNNにかなりの情報損失をもたらし、最終的にパフォーマンスが低下している。
本研究では,SNNのためのマルチビット情報伝送機構を提案する。
- 参考スコア（独自算出の注目度）: 4.552065156611815
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Since proposed, spiking neural networks (SNNs) gain recognition for their high performance, low power consumption and enhanced biological interpretability. However, while bringing these advantages, the binary nature of spikes also leads to considerable information loss in SNNs, ultimately causing performance degradation. We claim that the limited expressiveness of current binary spikes, resulting in substantial information loss, is the fundamental issue behind these challenges. To alleviate this, our research introduces a multi-bit information transmission mechanism for SNNs. This mechanism expands the output of spiking neurons from the original single bit to multiple bits, enhancing the expressiveness of the spikes and reducing information loss during the forward process, while still maintaining the low energy consumption advantage of SNNs. For SNNs, this represents a new paradigm of information transmission. Moreover, to further utilize the limited spikes, we extract effective signals from the previous layer to re-stimulate the neurons, thus encouraging full spikes emission across various bit levels. We conducted extensive experiments with our proposed method using both direct training method and ANN-SNN conversion method, and the results show consistent performance improvements.
- Abstract（参考訳）: 提案以来, スパイキングニューラルネットワーク(SNN)は, 高い性能, 低消費電力, 生物学的解釈可能性の向上を認められている。
しかし、これらの利点をもたらす一方で、スパイクのバイナリの性質はSNNにかなりの情報損失をもたらし、最終的にパフォーマンスが低下する。
現在のバイナリスパイクの表現力に制限があり、結果として情報損失が大きくなり、これらの課題の背後にある根本的な問題である、と我々は主張する。
そこで本研究では,SNNのためのマルチビット情報伝送機構を提案する。
この機構は、元の単一ビットから複数のビットへのスパイクニューロンの出力を拡大し、スパイクの表現性を高め、前処理時の情報損失を減らすとともに、SNNの低エネルギー消費優位性を維持している。
SNNにとって、これは情報伝達の新しいパラダイムである。
さらに、制限されたスパイクを更に活用するために、前層から有効信号を抽出してニューロンを再刺激し、様々なビットレベルにわたる完全なスパイク放出を促す。
直接学習法とANN-SNN変換法の両方を用いて提案手法を広範囲に実験し,一貫した性能向上を示した。
関連論文リスト
- Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。
本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文 参考訳（メタデータ） (2024-07-08T23:33:12Z) - Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs [27.46147049872907]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率とニューロモルフィックチップの優れた効果のために関心を集めている。
ディープSNNの実装における主要なアプローチの1つは、ANN-SNN変換である。
本稿では,残差を付加雑音として明示的にモデル化した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-26T14:50:46Z) - Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks [8.178274786227723]
スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。
既存のSNNプルーニング法は,SNNのスパーススパイク表現の処理効率が低いため,高いプルーニングコストと性能損失を引き起こす。
特徴伝達におけるニューロン臨界度を評価するための低コストな指標を提案し,この臨界度をプルーニングプロセスに組み込んだプルーニング再生法を設計する。
論文 参考訳（メタデータ） (2023-11-05T12:20:29Z) - Low Latency of object detection for spikng neural network [3.404826786562694]
スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。
本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
論文 参考訳（メタデータ） (2023-09-27T10:26:19Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文 参考訳（メタデータ） (2022-10-12T16:39:46Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。