論文の概要: SPARTA: Advancing Sparse Attention in Spiking Neural Networks via Spike-Timing-Based Prioritization

• arxiv url: http://arxiv.org/abs/2508.01646v2
• Date: Fri, 08 Aug 2025 16:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 14:17:29.550122
• Title: SPARTA: Advancing Sparse Attention in Spiking Neural Networks via Spike-Timing-Based Prioritization
• Title（参考訳）: SPARTA:スパイクタイミングに基づくプライオリティ化によるスパイクニューラルネットワークのスパースアテンション向上
• Authors: Minsuk Jang, Changick Kim,
• Abstract要約: 現在のスパイキングニューラルネットワーク(SNN)は、スパイクベースの処理に固有の時間的ダイナミクスを弱めている。 本研究では、ヘテロジニアスニューロンのダイナミクスとスパイク刺激情報を活用して効率的なスパースアテンションを実現するフレームワークであるSPARTAを提案する。
• 参考スコア（独自算出の注目度）: 16.145127783466126
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current Spiking Neural Networks (SNNs) underutilize the temporal dynamics inherent in spike-based processing, relying primarily on rate coding while overlooking precise timing information that provides rich computational cues. We propose SPARTA (Spiking Priority Attention with Resource-Adaptive Temporal Allocation), a framework that leverages heterogeneous neuron dynamics and spike-timing information to enable efficient sparse attention. SPARTA prioritizes tokens based on temporal cues, including firing patterns, spike timing, and inter-spike intervals, achieving 65.4% sparsity through competitive gating. By selecting only the most salient tokens, SPARTA reduces attention complexity from O(N^2) to O(K^2) with k << n, while maintaining high accuracy. Our method achieves state-of-the-art performance on DVS-Gesture (98.78%) and competitive results on CIFAR10-DVS (83.06%) and CIFAR-10 (95.3%), demonstrating that exploiting spike timing dynamics improves both computational efficiency and accuracy.
• Abstract（参考訳）: 現在のスパイキングニューラルネットワーク(SNN)は、スパイクベースの処理に固有の時間的ダイナミクスを弱め、主にレートコーディングに依存し、リッチな計算手順を提供する正確なタイミング情報を見渡す。 SPARTA(Spiking Priority Attention with Resource-Adaptive Temporal Allocation)を提案する。 SPARTAは、発火パターン、スパイクタイミング、スパイク間隔を含む時間的手がかりに基づいてトークンを優先順位付けし、競争ゲーティングによって65.4%の間隔を達成している。 最も顕著なトークンのみを選択することで、SPARTAは高い精度を維持しながら、注意の複雑さを k << n で O(N^2) から O(K^2) に還元する。 CIFAR10-DVS (83.06%) と CIFAR-10 (95.3%) の競争結果とDVS-Gesture (98.78%) の最先端性能を実現し, スパイクタイミングダイナミクスの活用により計算効率と精度が向上することを示した。

関連論文リスト

• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [57.17129753411926]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• STAA-SNN: Spatial-Temporal Attention Aggregator for Spiking Neural Networks [17.328954271272742]
  スパイキングニューラルネットワーク (SNN) はその生物学的妥当性とエネルギー効率のために注目されている。 しかしながら、SNNとArtificial Neural Networks(ANN)のパフォーマンスギャップは、SNNの普及を妨げる大きな課題である。 本研究では,空間的依存と時間的依存の両方を動的に対象とする空間的注意アグリゲータSNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T15:02:32Z)
• TSkips: Efficiency Through Explicit Temporal Delay Connections in Spiking Neural Networks [8.13696328386179]
  本稿では、時間的遅延を明示する前向きおよび後向きの接続を含むスパイキングニューラルネットワークを増強するTSkipsを提案する。 これらの接続は、長期的アーキテクチャをキャプチャし、長いシーケンスのスパイクフローを改善する。 4つのイベントベースデータセットにアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-22T18:58:18Z)
• Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch [39.05124192217359]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率の良いニューロモルフィックハードウェアに適している。 Time-to-First-Spike(TTFS)コーディングは、ニューロン毎の1回のスパイクを使用し、極端に間隔とエネルギー効率を提供するが、スパース発射による不安定なトレーニングと低い精度に悩まされている。 本稿では,パラメータ正規化,トレーニング正規化,時間出力復号化,プール層再評価を取り入れたトレーニングフレームワークを提案する。 実験では、M上のTTFS SNNのトレーニングを安定化し、加速し、レイテンシを低減し、最先端の精度を達成する。
  論文  参考訳（メタデータ） (2024-10-31T04:14:47Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Direct Training Needs Regularisation: Anytime Optimal Inference Spiking Neural Network [23.434563009813218]
  スパイキングニューラルネットワーク(SNN)は,次世代のニューラルネットワーク(ANN)として認識される 空間時間正規化(STR)と呼ばれる新しい正規化手法を導入する。 STRは各段階におけるスパイクの強さと膜電位の比を調節する。 これは、トレーニング中の空間的および時間的パフォーマンスを効果的にバランスさせ、最終的にはAnytime Optimal Inference (AOI) SNNとなる。
  論文  参考訳（メタデータ） (2024-04-15T15:57:01Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
  Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。 GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。 CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
  論文  参考訳（メタデータ） (2023-08-12T14:42:02Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Learning to Solve Combinatorial Graph Partitioning Problems via Efficient Exploration [72.15369769265398]
  実験により、ECORDは最大カット問題に対するRLアルゴリズムのための新しいSOTAを実現する。 最も近い競合と比較して、ECORDは最適性ギャップを最大73%削減する。
  論文  参考訳（メタデータ） (2022-05-27T17:13:10Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。