論文の概要: Spiking Transformer with Spatial-Temporal Attention

• arxiv url: http://arxiv.org/abs/2409.19764v1
• Date: Sun, 29 Sep 2024 20:29:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:06:17.007824
• Title: Spiking Transformer with Spatial-Temporal Attention
• Title（参考訳）: 空間的時間的注意を伴うスパイキングトランス
• Authors: Donghyun Lee, Yuhang Li, Youngeun Kim, Shiting Xiao, Priyadarshini Panda,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる、魅力的でエネルギー効率の良い代替手段を提供する 本研究では,空間的・時間的情報を自己注意に組み込むシンプルなアーキテクチャであるSTAttenを用いたスポーキングトランスフォーマー(Spking Transformer)を提案する。 まず、時系列データセットを用いて、長期の時間的依存を捕捉する空間的注意機構の能力を検証する。
• 参考スコア（独自算出の注目度）: 26.7175155847563
• License:
• Abstract: Spiking Neural Networks (SNNs) present a compelling and energy-efficient alternative to traditional Artificial Neural Networks (ANNs) due to their sparse binary activation. Leveraging the success of the transformer architecture, the spiking transformer architecture is explored to scale up dataset size and performance. However, existing works only consider the spatial self-attention in spiking transformer, neglecting the inherent temporal context across the timesteps. In this work, we introduce Spiking Transformer with Spatial-Temporal Attention (STAtten), a simple and straightforward architecture designed to integrate spatial and temporal information in self-attention with negligible additional computational load. The STAtten divides the temporal or token index and calculates the self-attention in a cross-manner to effectively incorporate spatial-temporal information. We first verify our spatial-temporal attention mechanism's ability to capture long-term temporal dependencies using sequential datasets. Moreover, we validate our approach through extensive experiments on varied datasets, including CIFAR10/100, ImageNet, CIFAR10-DVS, and N-Caltech101. Notably, our cross-attention mechanism achieves an accuracy of 78.39 % on the ImageNet dataset.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、疎二元活性化のため、従来のニューラルネットワーク(ANN)に代わる、魅力的でエネルギー効率のよい代替手段を提供する。 トランスアーキテクチャの成功を生かしたスパイクトランスアーキテクチャは、データセットのサイズとパフォーマンスをスケールアップするために検討されている。 しかし、既存の研究はスパイク変圧器における空間的自己意識のみを考慮し、時間経過を通して固有の時間的文脈を無視している。 本研究では,空間的および時間的情報を付加的な計算負荷で自己注意に組み込むための,シンプルで簡単なアーキテクチャである空間的時間的注意を伴うスパイキングトランスフォーマー(STAtten)を提案する。 STAttenは、時間的またはトークンのインデックスを分割し、クロスマンタ内の自己アテンションを計算して、空間的時間的情報を効果的に組み込む。 まず、時系列データセットを用いて、長期の時間的依存を捕捉する空間的注意機構の能力を検証する。 さらに、CIFAR10/100、ImageNet、CIFAR10-DVS、N-Caltech101など、さまざまなデータセットに関する広範な実験を通じて、このアプローチを検証する。 特に、当社のクロスアテンションメカニズムは、ImageNetデータセットで78.39パーセントの精度を実現しています。

関連論文リスト

• Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality [39.476378833827184]
  動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。 時空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。 STRIPEは、AUCスコアが5.8%改善し、トレーニング時間が4.62倍速く、既存の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-03-14T02:26:10Z)
• Enhancing Adaptive History Reserving by Spiking Convolutional Block Attention Module in Recurrent Neural Networks [21.509659756334802]
  スパイキングニューラルネットワーク(SNN)は、時系列における時間的パターンを処理するための1種類の効率的なモデルである。 本稿では、先進的なスパイキング・コンボリューション・アテンション・モジュール(SCBAM)コンポーネントを組み込んだ繰り返しスパイキング・ニューラルネットワーク(RSNN)モデルを開発する。 SCBAMを通して空間的・時間的チャネルの履歴情報を適応的に呼び出すことで、効率的なメモリ呼び出し履歴と冗長性排除の利点をもたらす。
  論文  参考訳（メタデータ） (2024-01-08T08:05:34Z)
• Disentangling Spatial and Temporal Learning for Efficient Image-to-Video Transfer Learning [59.26623999209235]
  ビデオの空間的側面と時間的側面の学習を両立させるDiSTを提案する。 DiSTの非絡み合い学習は、大量の事前学習パラメータのバックプロパゲーションを避けるため、非常に効率的である。 5つのベンチマークの大規模な実験は、DiSTが既存の最先端メソッドよりも優れたパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:58:33Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Spatiotemporal convolutional network for time-series prediction and causal inference [21.895413699349966]
  時系列のマルチステップ予測を効率的に正確にレンダリングするために、ニューラルネットワークコンピューティングフレームワークi.N.N.を開発した。 このフレームワークは、人工知能(AI)や機械学習分野の実践的応用において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-07-03T06:20:43Z)
• Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
  本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。 粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-08T03:50:45Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• Multivariate Time Series Classification Using Spiking Neural Networks [7.273181759304122]
  スパイクニューラルネットワークは低消費電力を可能にするため注目されている。 本稿では,時系列をスパース時空間スパイクパターンに変換する符号化方式を提案する。 空間時間パターンを分類する学習アルゴリズムも提案する。
  論文  参考訳（メタデータ） (2020-07-07T15:24:01Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。