論文の概要: Adaptive Spiking Neural Networks with Hybrid Coding

• arxiv url: http://arxiv.org/abs/2408.12407v1
• Date: Thu, 22 Aug 2024 13:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 13:43:10.604068
• Title: Adaptive Spiking Neural Networks with Hybrid Coding
• Title（参考訳）: ハイブリッド符号化を用いた適応スパイクニューラルネットワーク
• Authors: Huaxu He,
• Abstract要約: スパイテンポラルニューラルネットワーク(SNN)は、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである 従来のSNNは、異なる時間ステップで入力データを処理する際に同じニューロンを使用し、時間情報を効果的に統合し活用する能力を制限する。 本稿では,学習に必要な時間を短縮するだけでなく,ネットワーク全体の性能を向上させるためのハイブリッド符号化手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Spiking Neural Network (SNN), due to its unique spiking-driven nature, is a more energy-efficient and effective neural network compared to Artificial Neural Networks (ANNs). The encoding method directly influences the overall performance of the network, and currently, direct encoding is primarily used for directly trained SNNs. When working with static image datasets, direct encoding inputs the same feature map at every time step, failing to fully exploit the spatiotemporal properties of SNNs. While temporal encoding converts input data into spike trains with spatiotemporal characteristics, traditional SNNs utilize the same neurons when processing input data across different time steps, limiting their ability to integrate and utilize spatiotemporal information effectively.To address this, this paper employs temporal encoding and proposes the Adaptive Spiking Neural Network (ASNN), enhancing the utilization of temporal encoding in conventional SNNs. Additionally, temporal encoding is less frequently used because short time steps can lead to significant loss of input data information, often necessitating a higher number of time steps in practical applications. However, training large SNNs with long time steps is challenging due to hardware constraints. To overcome this, this paper introduces a hybrid encoding approach that not only reduces the required time steps for training but also continues to improve the overall network performance.Notably, significant improvements in classification performance are observed on both Spikformer and Spiking ResNet architectures.our code is available at https://github.com/hhx0320/ASNN
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、独自のスパイキング駆動の性質から、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである。 符号化方式はネットワーク全体の性能に直接影響を与え、現在、直接符号化は直接訓練されたSNNに主に使用されている。 静的なイメージデータセットを扱う場合、ダイレクトエンコーディングは同じフィーチャーマップをステップ毎に入力し、SNNの時空間特性を完全に活用することができない。 時空間符号化は入力データを時空間特性を持つスパイク列車に変換するが、従来のSNNは異なる時間ステップで入力データを処理する際に同じニューロンを利用し、時空間情報の統合と有効利用を制限し、これに対応するために時空間符号化を採用し、適応スパイキングニューラルネットワーク(ASNN)を提案し、従来のSNNにおける時空間符号化の利用を向上する。 さらに、短時間のステップが入力データ情報の大幅な損失を招き、実用的なアプリケーションではより多くの時間ステップを必要とするため、テンポラリエンコーディングがあまり使われない。 しかし、ハードウェアの制約のため、長時間のステップで大規模なSNNをトレーニングすることは困難である。 そこで本研究では,学習に必要な時間ステップを削減するだけでなく,ネットワーク性能の向上も継続するハイブリッド符号化手法を提案する。しかしながら,Spikformer と Spiking ResNet アーキテクチャの両方において,分類性能の大幅な改善が観察されている。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions [2.8360662552057323]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。 シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
  論文  参考訳（メタデータ） (2022-11-29T11:38:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck [37.376989855065545]
  スパイキングニューラルネットワーク(SNN)をトレーニングする上で重要な課題の1つは、ターゲット出力が通常、自然な信号の形で現れることである。 これは、ターゲットのスパイク信号を手作りして、スパイクを自然な信号にデコードするメカニズムを暗黙的に修正する。 本研究では、符号化SNNと復号ニューラルネットワークからなるハイブリッド変分オートエンコーダアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2021-06-02T14:14:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。