論文の概要: TEFormer: Structured Bidirectional Temporal Enhancement Modeling in Spiking Transformers
- arxiv url: http://arxiv.org/abs/2601.18274v1
- Date: Mon, 26 Jan 2026 08:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:08.748522
- Title: TEFormer: Structured Bidirectional Temporal Enhancement Modeling in Spiking Transformers
- Title（参考訳）: TEFormer:スパイキングトランスにおける双方向時間拡張モデルの構築
- Authors: Sicheng Shen, Mingyang Lv, Bing Han, Dongcheng Zhao, Guobin Shen, Feifei Zhao, Yi Zeng,
- Abstract要約: スパイキングニューラルネットワーク(Sss)は、エネルギー効率のよいシーケンスモデリングのための有望なアーキテクチャとして登場し、目覚ましい進歩を遂げた。
TENNは,コアコンポーネント間の時間的モデリングを分離する最初のスパイキングトランスフォーマーフレームワークである。
- 参考スコア（独自算出の注目度）: 21.44931228642047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, Spiking Neural Networks (SNNs) have achieved remarkable progress, with Spiking Transformers emerging as a promising architecture for energy-efficient sequence modeling. However, existing Spiking Transformers still lack a principled mechanism for effective temporal fusion, limiting their ability to fully exploit spatiotemporal dependencies. Inspired by feedforward-feedback modulation in the human visual pathway, we propose TEFormer, the first Spiking Transformer framework that achieves bidirectional temporal fusion by decoupling temporal modeling across its core components. Specifically, TEFormer employs a lightweight and hyperparameter-free forward temporal fusion mechanism in the attention module, enabling fully parallel computation, while incorporating a backward gated recurrent structure in the MLP to aggregate temporal information in reverse order and reinforce temporal consistency. Extensive experiments across a wide range of benchmarks demonstrate that TEFormer consistently and significantly outperforms strong SNN and Spiking Transformer baselines under diverse datasets. Moreover, through the first systematic evaluation of Spiking Transformers under different neural encoding schemes, we show that the performance gains of TEFormer remain stable across encoding choices, indicating that the improved temporal modeling directly translates into reliable accuracy improvements across varied spiking representations. These results collectively establish TEFormer as an effective and general framework for temporal modeling in Spiking Transformers.
- Abstract（参考訳）: 近年、スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いシーケンスモデリングのための有望なアーキテクチャとして登場し、目覚ましい進歩を遂げている。
しかしながら、既存のSpking Transformerには、効果的な時間的融合のための原則的なメカニズムがなく、時空間依存を完全に活用する能力が制限されている。
ヒトの視覚経路におけるフィードフォワードフィードバックの変調にインスパイアされたTEFormerは、コアコンポーネント間の時間的モデリングを疎結合して双方向の時間的融合を実現する最初のスパイキングトランスフォーマーフレームワークである。
具体的には、TEFormerは、軽量でハイパーパラメータフリーな前方時間融合機構をアテンションモジュールに採用し、完全に並列計算を可能にし、MLPに後方ゲートの繰り返し構造を組み込んで時間情報を逆順に集約し、時間的一貫性を補強する。
広範囲のベンチマークにわたる大規模な実験により、TEFormerは、さまざまなデータセットの下で強力なSNNとSpking Transformerベースラインを一貫して、大幅に上回っていることが示されている。
さらに、異なるニューラルネットワーク方式によるスパイキングトランスフォーマーの最初の体系的評価により、TEFormerの性能向上は符号化選択全体にわたって安定であり、改良された時間的モデリングは、様々なスパイキング表現の信頼性向上に直接変換されることを示す。
これらの結果は, TEFormerをスパイキングトランスフォーマーの時間的モデリングのための効果的で汎用的なフレームワークとして確立する。
関連論文リスト
- HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting [14.205408555688306]
トランスフォーマーに基づく手法は時系列予測において顕著な結果を得た。
既存のTransformerは、時間的依存関係を過度に強調する傾向があるため、シーケンスモデリングに制限がある。
変換器の性能は,効率的な表現の学習に使用される埋め込み法に大きく依存していることがわかった。
論文 参考訳（メタデータ） (2025-10-08T14:40:42Z) - TimeFormer: Transformer with Attention Modulation Empowered by Temporal Characteristics for Time Series Forecasting [18.890651211582256]
本研究では,その表現能力の最大化を目的として,時系列データ用に設計された新しいトランスフォーマーアーキテクチャを開発する。
時系列の特徴は,(1)過去から未来への一方向的影響,(2)時間の経過とともに崩壊する現象である。
2つの変調項(MoSA)を持つ自己保持機構が中心となるTimeFormerを提案する。
論文 参考訳（メタデータ） (2025-10-08T06:07:30Z) - EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。
これは、パッチの計算上の利点を維持しながら、時間構造を保存する。
長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
論文 参考訳（メタデータ） (2025-09-30T12:09:56Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳（メタデータ） (2024-02-26T04:39:01Z) - Todyformer: Towards Holistic Dynamic Graph Transformers with
Structure-Aware Tokenization [6.799413002613627]
Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。
メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。
Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2024-02-02T23:05:30Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳（メタデータ） (2023-10-10T13:44:09Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。