論文の概要: TimeFormer: Transformer with Attention Modulation Empowered by Temporal Characteristics for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2510.06680v1
• Date: Wed, 08 Oct 2025 06:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.326654
• Title: TimeFormer: Transformer with Attention Modulation Empowered by Temporal Characteristics for Time Series Forecasting
• Title（参考訳）: TimeFormer:時系列予測のための時間特性を利用したアテンション変調変換器
• Authors: Zhipeng Liu, Peibo Duan, Xuan Tang, Baixin Li, Yongsheng Huang, Mingyang Geng, Changsheng Zhang, Bin Zhang, Binwu Wang,
• Abstract要約: 本研究では,その表現能力の最大化を目的として,時系列データ用に設計された新しいトランスフォーマーアーキテクチャを開発する。 時系列の特徴は,(1)過去から未来への一方向的影響,(2)時間の経過とともに崩壊する現象である。 2つの変調項(MoSA)を持つ自己保持機構が中心となるTimeFormerを提案する。
• 参考スコア（独自算出の注目度）: 18.890651211582256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Transformers excel in natural language processing, their extension to time series forecasting remains challenging due to insufficient consideration of the differences between textual and temporal modalities. In this paper, we develop a novel Transformer architecture designed for time series data, aiming to maximize its representational capacity. We identify two key but often overlooked characteristics of time series: (1) unidirectional influence from the past to the future, and (2) the phenomenon of decaying influence over time. These characteristics are introduced to enhance the attention mechanism of Transformers. We propose TimeFormer, whose core innovation is a self-attention mechanism with two modulation terms (MoSA), designed to capture these temporal priors of time series under the constraints of the Hawkes process and causal masking. Additionally, TimeFormer introduces a framework based on multi-scale and subsequence analysis to capture semantic dependencies at different temporal scales, enriching the temporal dependencies. Extensive experiments conducted on multiple real-world datasets show that TimeFormer significantly outperforms state-of-the-art methods, achieving up to a 7.45% reduction in MSE compared to the best baseline and setting new benchmarks on 94.04\% of evaluation metrics. Moreover, we demonstrate that the MoSA mechanism can be broadly applied to enhance the performance of other Transformer-based models.
• Abstract（参考訳）: トランスフォーマーは自然言語処理に優れるが,テキストと時間的モーダル性の違いを十分に考慮していないため,時系列予測への拡張は依然として困難である。 本稿では,その表現能力の最大化を目的として,時系列データ用に設計された新しいトランスフォーマーアーキテクチャを開発する。 時系列の特徴は,(1)過去から未来への一方向的影響,(2)時間の経過とともに崩壊する現象である。 これらの特徴はトランスフォーマーの注意機構を高めるために導入された。 本稿では,2つの変調項を持つ自己保持機構を中心とするTimeFormerを提案する。 さらに、TimeFormerは、異なる時間スケールでセマンティックな依存関係をキャプチャし、時間的依存関係を豊かにする、マルチスケールおよびサブシーケンス分析に基づくフレームワークも導入している。 複数の実世界のデータセットで実施された大規模な実験によると、TimeFormerは最先端の手法を大幅に上回り、最高のベースラインに比べて最大7.45%のMSE削減を実現し、94.04\%の評価基準に新しいベンチマークを設定した。 さらに,他のトランスフォーマーモデルの性能向上のために,MoSA機構が広く適用可能であることを示す。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• LATST: Are Transformers Necessarily Complex for Time-Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting [7.805077630467324]
  時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。 最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。 しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
  論文  参考訳（メタデータ） (2022-06-11T10:34:29Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)
• Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
  新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。 従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。 提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
  論文  参考訳（メタデータ） (2021-12-29T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。