論文の概要: Spiking Transformer with Spatial-Temporal Attention

• arxiv url: http://arxiv.org/abs/2409.19764v2
• Date: Mon, 25 Nov 2024 21:22:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:23.337997
• Title: Spiking Transformer with Spatial-Temporal Attention
• Title（参考訳）: 空間的時間的注意を伴うスパイキングトランス
• Authors: Donghyun Lee, Yuhang Li, Youngeun Kim, Shiting Xiao, Priyadarshini Panda,
• Abstract要約: SpikeベースのTransformerは、従来のニューラルネットワーク(ANN)ベースのTransformerに代わる、魅力的でエネルギー効率のよい代替手段を提供する。 本研究では,空間的・時間的情報を自己認識機構に効率よく統合する,シンプルかつ簡単なアーキテクチャである空間時間注意型スパイキングトランスフォーマーを提案する。 アーキテクチャのオーバーホールなしに既存のスパイクベースのトランスにシームレスに統合できる。
• 参考スコア（独自算出の注目度）: 26.7175155847563
• License:
• Abstract: Spike-based Transformer presents a compelling and energy-efficient alternative to traditional Artificial Neural Network (ANN)-based Transformers, achieving impressive results through sparse binary computations. However, existing spike-based transformers predominantly focus on spatial attention while neglecting crucial temporal dependencies inherent in spike-based processing, leading to suboptimal feature representation and limited performance. To address this limitation, we propose Spiking Transformer with Spatial-Temporal Attention (STAtten), a simple and straightforward architecture that efficiently integrates both spatial and temporal information in the self-attention mechanism. STAtten introduces a block-wise computation strategy that processes information in spatial-temporal chunks, enabling comprehensive feature capture while maintaining the same computational complexity as previous spatial-only approaches. Our method can be seamlessly integrated into existing spike-based transformers without architectural overhaul. Extensive experiments demonstrate that STAtten significantly improves the performance of existing spike-based transformers across both static and neuromorphic datasets, including CIFAR10/100, ImageNet, CIFAR10-DVS, and N-Caltech101.
• Abstract（参考訳）: SpikeベースのTransformerは、従来のニューラルネットワーク(ANN)ベースのTransformerに代わる、魅力的でエネルギー効率のよい代替手段を提供する。 しかし、既存のスパイクベースのトランスフォーマーは、主に空間的注意に焦点を当て、スパイクベースの処理に固有の重要な時間的依存を無視し、最適以下の特徴表現と限られた性能をもたらす。 この制限に対処するため,STAtten を用いたスポーキングトランスフォーマーを提案する。 STAttenは、空間的時間的チャンクで情報を処理し、従来の空間的のみのアプローチと同じ計算複雑性を維持しながら、包括的な特徴キャプチャを可能にするブロックワイズ計算戦略を導入している。 アーキテクチャのオーバーホールなしに既存のスパイクベースのトランスにシームレスに統合できる。 大規模な実験により、STAttenは、CIFAR10/100、ImageNet、CIFAR10-DVS、N-Caltech101など、静的およびニューロモルフィックなデータセットの両方にわたる既存のスパイクベースのトランスフォーマーの性能を大幅に改善することが示された。

関連論文リスト

• STGformer: Efficient Spatiotemporal Graph Transformer for Traffic Forecasting [11.208740750755025]
  交通はスマートシティマネジメントの基盤であり、効率的なアロケーションと交通計画を可能にしている。 ディープラーニングは、データの複雑な非線形パターンをキャプチャする能力を持ち、トラフィック予測の強力なツールとして登場した。 グラフニューラルネットワーク(GCN)とトランスフォーマーベースのモデルは、将来性を示しているが、その計算要求はしばしば、現実のネットワークへの応用を妨げる。 本稿では,管理可能な計算フットプリントを維持しつつ,グローバルおよびローカルの両方のトラフィックパターンの効率的なモデリングを可能にする新しいテンポラルグラフトランスフォーマー(STG)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:15:48Z)
• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting [24.510978166050293]
  本研究は時系列予測のための非自己回帰変換アーキテクチャを提案する最初の試みである。 本稿では,空間的注意と時間的注意のギャップを埋めるために,学習した時間的影響マップを用いて橋を架ける新しい時間的注意機構を提案する。
  論文  参考訳（メタデータ） (2021-02-10T18:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。