論文の概要: Spiking Transformer with Spatial-Temporal Attention

• arxiv url: http://arxiv.org/abs/2409.19764v1
• Date: Sun, 29 Sep 2024 20:29:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 17:39:51.834979
• Title: Spiking Transformer with Spatial-Temporal Attention
• Title（参考訳）: 空間的時間的注意を伴うスパイキングトランス
• Authors: Donghyun Lee, Yuhang Li, Youngeun Kim, Shiting Xiao, Priyadarshini Panda,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる、魅力的でエネルギー効率の良い代替手段を提供する 本研究では,空間的・時間的情報を自己注意に組み込むシンプルなアーキテクチャであるSTAttenを用いたスポーキングトランスフォーマー(Spking Transformer)を提案する。 まず、時系列データセットを用いて、長期の時間的依存を捕捉する空間的注意機構の能力を検証する。
• 参考スコア（独自算出の注目度）: 26.7175155847563
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spiking Neural Networks (SNNs) present a compelling and energy-efficient alternative to traditional Artificial Neural Networks (ANNs) due to their sparse binary activation. Leveraging the success of the transformer architecture, the spiking transformer architecture is explored to scale up dataset size and performance. However, existing works only consider the spatial self-attention in spiking transformer, neglecting the inherent temporal context across the timesteps. In this work, we introduce Spiking Transformer with Spatial-Temporal Attention (STAtten), a simple and straightforward architecture designed to integrate spatial and temporal information in self-attention with negligible additional computational load. The STAtten divides the temporal or token index and calculates the self-attention in a cross-manner to effectively incorporate spatial-temporal information. We first verify our spatial-temporal attention mechanism's ability to capture long-term temporal dependencies using sequential datasets. Moreover, we validate our approach through extensive experiments on varied datasets, including CIFAR10/100, ImageNet, CIFAR10-DVS, and N-Caltech101. Notably, our cross-attention mechanism achieves an accuracy of 78.39 % on the ImageNet dataset.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、疎二元活性化のため、従来のニューラルネットワーク(ANN)に代わる、魅力的でエネルギー効率のよい代替手段を提供する。 トランスアーキテクチャの成功を生かしたスパイクトランスアーキテクチャは、データセットのサイズとパフォーマンスをスケールアップするために検討されている。 しかし、既存の研究はスパイク変圧器における空間的自己意識のみを考慮し、時間経過を通して固有の時間的文脈を無視している。 本研究では,空間的および時間的情報を付加的な計算負荷で自己注意に組み込むための,シンプルで簡単なアーキテクチャである空間的時間的注意を伴うスパイキングトランスフォーマー(STAtten)を提案する。 STAttenは、時間的またはトークンのインデックスを分割し、クロスマンタ内の自己アテンションを計算して、空間的時間的情報を効果的に組み込む。 まず、時系列データセットを用いて、長期の時間的依存を捕捉する空間的注意機構の能力を検証する。 さらに、CIFAR10/100、ImageNet、CIFAR10-DVS、N-Caltech101など、さまざまなデータセットに関する広範な実験を通じて、このアプローチを検証する。 特に、当社のクロスアテンションメカニズムは、ImageNetデータセットで78.39パーセントの精度を実現しています。

関連論文リスト

• STGformer: Efficient Spatiotemporal Graph Transformer for Traffic Forecasting [11.208740750755025]
  交通はスマートシティマネジメントの基盤であり、効率的なアロケーションと交通計画を可能にしている。 ディープラーニングは、データの複雑な非線形パターンをキャプチャする能力を持ち、トラフィック予測の強力なツールとして登場した。 グラフニューラルネットワーク(GCN)とトランスフォーマーベースのモデルは、将来性を示しているが、その計算要求はしばしば、現実のネットワークへの応用を妨げる。 本稿では,管理可能な計算フットプリントを維持しつつ,グローバルおよびローカルの両方のトラフィックパターンの効率的なモデリングを可能にする新しいテンポラルグラフトランスフォーマー(STG)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:15:48Z)
• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting [24.510978166050293]
  本研究は時系列予測のための非自己回帰変換アーキテクチャを提案する最初の試みである。 本稿では,空間的注意と時間的注意のギャップを埋めるために,学習した時間的影響マップを用いて橋を架ける新しい時間的注意機構を提案する。
  論文  参考訳（メタデータ） (2021-02-10T18:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。