論文の概要: TIM: An Efficient Temporal Interaction Module for Spiking Transformer
- arxiv url: http://arxiv.org/abs/2401.11687v3
- Date: Thu, 9 May 2024 06:32:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 17:59:24.195994
- Title: TIM: An Efficient Temporal Interaction Module for Spiking Transformer
- Title（参考訳）: TIM:スパイキングトランスのための効率的な時間的相互作用モジュール
- Authors: Sicheng Shen, Dongcheng Zhao, Guobin Shen, Yi Zeng,
- Abstract要約: スパイキングニューラルネットワーク(SNN)はその生物学的妥当性と計算効率で有名になった。
ニューラルネットワークアーキテクチャの進歩にインスパイアされた注意機構の統合は、スパイキングトランスフォーマーの開発につながった。
これらは、SNNの機能強化、特に静的データセットとニューロモルフィックデータセットの両方の領域において、有望であることを示している。
本稿では,SNNアーキテクチャにおける時間的データ処理能力を高めるために,TIM(Temporal Interaction Module)を導入した。
- 参考スコア（独自算出の注目度）: 5.74337858210191
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs), as the third generation of neural networks, have gained prominence for their biological plausibility and computational efficiency, especially in processing diverse datasets. The integration of attention mechanisms, inspired by advancements in neural network architectures, has led to the development of Spiking Transformers. These have shown promise in enhancing SNNs' capabilities, particularly in the realms of both static and neuromorphic datasets. Despite their progress, a discernible gap exists in these systems, specifically in the Spiking Self Attention (SSA) mechanism's effectiveness in leveraging the temporal processing potential of SNNs. To address this, we introduce the Temporal Interaction Module (TIM), a novel, convolution-based enhancement designed to augment the temporal data processing abilities within SNN architectures. TIM's integration into existing SNN frameworks is seamless and efficient, requiring minimal additional parameters while significantly boosting their temporal information handling capabilities. Through rigorous experimentation, TIM has demonstrated its effectiveness in exploiting temporal information, leading to state-of-the-art performance across various neuromorphic datasets. The code is available at https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/TIM.
- Abstract（参考訳）: 第3世代のニューラルネットワークであるスパイキングニューラルネットワーク(SNN)は、その生物学的妥当性と計算効率、特に多様なデータセットの処理において注目されている。
ニューラルネットワークアーキテクチャの進歩にインスパイアされた注意機構の統合は、スパイキングトランスフォーマーの開発につながった。
これらは、SNNの機能強化、特に静的データセットとニューロモルフィックデータセットの両方の領域において、有望であることを示している。
それらの進歩にもかかわらず、これらのシステムには明確なギャップが存在し、特にSNNの時間的処理能力を活用するためのスパイキング自己注意(SSA)メカニズムの有効性においてである。
これを解決するために、SNNアーキテクチャ内の時間データ処理能力を増強する新しい畳み込みベースの拡張であるTIM(Temporal Interaction Module)を導入する。
TIMの既存のSNNフレームワークへの統合はシームレスで効率的であり、時間的情報処理能力を大幅に向上させながら、最小限の追加パラメータを必要とする。
厳密な実験を通じて、TIMは時間的情報を活用する効果を実証し、様々なニューロモルフィックデータセットで最先端のパフォーマンスを実現した。
コードはhttps://github.com/BrainCog-X/BrainCog/tree/main/examples/TIMで公開されている。
関連論文リスト
- Spiking Neural Networks for Temporal Processing: Status Quo and Future Prospects [41.8742357294068]
スパイキングニューラルネットワーク(SNN)は、その豊富な神経力学とスパース活動パターンのために、データを高い効率で処理する上で優れている。
近年のSNNの発展に伴い,その時間的処理能力を総合的に評価する必要性が高まっている。
論文 参考訳（メタデータ） (2025-02-13T16:17:57Z) - Enhanced Temporal Processing in Spiking Neural Networks for Static Object Detection Using 3D Convolutions [0.0]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、時間的情報を処理できるネットワークモデルである。
本稿では,SNNの時間情報処理能力の向上に焦点をあてる。
時間情報のSNN処理を改善するために,従来の2次元畳み込みを3次元畳み込みに置き換えることを提案する。
論文 参考訳（メタデータ） (2024-12-23T15:32:26Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。
本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。
提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
論文 参考訳（メタデータ） (2024-04-26T22:52:23Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution
and Attention for Spiking Neural Networks [7.422913384086416]
ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。
SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。
生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。
時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:13:22Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。