論文の概要: CAPS: Unifying Attention, Recurrence, and Alignment in Transformer-based Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2602.02729v1
• Date: Mon, 02 Feb 2026 19:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.044033
• Title: CAPS: Unifying Attention, Recurrence, and Alignment in Transformer-based Time Series Forecasting
• Title（参考訳）: CAPS:トランスフォーマーによる時系列予測における注意、再帰、調整の統合
• Authors: Viresh Pati, Yubin Kim, Vinh Pham, Jevon Twitty, Shihao Yang, Jiecheng Lu,
• Abstract要約: CAPSは相整合のためのSO(2)回転と3つの加法的ゲーティング経路を結合する。 時間的重要性の共有概念を通じてこれらの経路を変調する学習時間重み付けであるクロック機構を導入する。
• 参考スコア（独自算出の注目度）: 5.339037322817684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents $\textbf{CAPS}$ (Clock-weighted Aggregation with Prefix-products and Softmax), a structured attention mechanism for time series forecasting that decouples three distinct temporal structures: global trends, local shocks, and seasonal patterns. Standard softmax attention entangles these through global normalization, while recent recurrent models sacrifice long-term, order-independent selection for order-dependent causal structure. CAPS combines SO(2) rotations for phase alignment with three additive gating paths -- Riemann softmax, prefix-product gates, and a Clock baseline -- within a single attention layer. We introduce the Clock mechanism, a learned temporal weighting that modulates these paths through a shared notion of temporal importance. Experiments on long- and short-term forecasting benchmarks surpass vanilla softmax and linear attention mechanisms and demonstrate competitive performance against seven strong baselines with linear complexity. Our code implementation is available at https://github.com/vireshpati/CAPS-Attention.
• Abstract（参考訳）: 本稿では,大域的傾向,局所的ショック,季節的パターンの3つの異なる時間構造を分離する,時系列予測のための構造化された注意機構である$\textbf{CAPS}$(Clock-weighted Aggregation with Prefix-products and Softmax)を提案する。 標準ソフトマックスアテンションは、これらをグローバルな正規化を通じて絡み合わせる一方、最近のリカレントモデルでは、順序に依存しない因果構造に対する長期的、順序に依存しない選択を犠牲にしている。 CAPSは、位相アライメントのためのSO(2)回転と、リーマンソフトマックス、プレフィックス生成ゲート、クロックベースラインの3つの付加的なゲーティングパスを1つの注意層内に組み合わせている。 時間的重要性の共有概念を通じてこれらの経路を変調する学習時間重み付けであるクロック機構を導入する。 長期および短期予測ベンチマークの実験は、バニラソフトマックスおよび線形注意機構を超え、線形複雑性を持つ7つの強いベースラインに対する競合性能を示す。 コード実装はhttps://github.com/vireshpati/CAPS-Attention.comで公開しています。

関連論文リスト

• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• Kairos: Towards Adaptive and Generalizable Time Series Foundation Models [27.076542021368056]
  時系列基礎モデル (TSFM) は時系列解析の強力なパラダイムとして登場してきた。 動的パッチトークンとインスタンス適応型位置埋め込みを統合した,柔軟なTSFMフレームワークであるKairosを提案する。 Kairosは2つの共通ゼロショットベンチマークのパラメータをはるかに少なくして、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-09-30T06:02:26Z)
• Revitalizing Canonical Pre-Alignment for Irregular Multivariate Time Series Forecasting [17.046106977768215]
  IMTS予測のためのCanonical Pre-Alignment(CPA)に基づくコンパクトアーキテクチャであるKAFNetを提案する。 KAFNetは7.2$times$パラメータ削減と8.4$times$トレーニング推論アクセラレーションによって最先端の予測性能を達成する。
  論文  参考訳（メタデータ） (2025-08-04T01:07:24Z)
• AutoHFormer: Efficient Hierarchical Autoregressive Transformer for Time Series Prediction [36.239648954658534]
  時系列予測には、3つの競合する目標を同時に達成するアーキテクチャが必要である。 本稿では,これらの課題に対処する階層型自己回帰変換器であるAutoHFormerを紹介する。 総合的な実験により、AutoHFormer 10.76XはP08のPatchTSTと比較して高速なトレーニングと6.06倍のメモリ削減を示した。
  論文  参考訳（メタデータ） (2025-06-19T03:47:04Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting [8.000134983886742]
  3つのスパース成分からなるドーザー注意機構を提案する。 これらのコンポーネントは、局所性、季節性、グローバルな時間的依存関係を含む、MSSデータの本質的な属性をキャプチャするために設計されている。 MTS予測タスクに対するDozer Attentionメカニズムを取り入れたDozerformer Frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:49:02Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。