論文の概要: CITRAS: Covariate-Informed Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2503.24007v1
• Date: Mon, 31 Mar 2025 12:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:55.311701
• Title: CITRAS: Covariate-Informed Transformer for Time Series Forecasting
• Title（参考訳）: CITRAS: 時系列予測のための共変量変換器
• Authors: Yosuke Yamaguchi, Issei Suemitsu, Wenpeng Wei,
• Abstract要約: CITRASはパッチベースのTransformerで、複数のターゲットを柔軟に活用し、過去と将来の水平線の両方をカバーする。 共変量インフォームドおよび多変量予測における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License:
• Abstract: Covariates play an indispensable role in practical time series forecasting, offering rich context from the past and sometimes extending into the future. However, their availability varies depending on the scenario, and situations often involve multiple target variables simultaneously. Moreover, the cross-variate dependencies between them are multi-granular, with some covariates having a short-term impact on target variables and others showing long-term correlations. This heterogeneity and the intricate dependencies arising in covariate-informed forecasting present significant challenges to existing deep models. To address these issues, we propose CITRAS, a patch-based Transformer that flexibly leverages multiple targets and covariates covering both the past and the future forecasting horizon. While preserving the strong autoregressive capabilities of the canonical Transformer, CITRAS introduces two novel mechanisms in patch-wise cross-variate attention: Key-Value (KV) Shift and Attention Score Smoothing. KV Shift seamlessly incorporates future known covariates into the forecasting of target variables based on their concurrent dependencies. Additionally, Attention Score Smoothing transforms locally accurate patch-wise cross-variate dependencies into global variate-level dependencies by smoothing the past series of attention scores. Experimentally, CITRAS achieves state-of-the-art performance in both covariate-informed and multivariate forecasting, demonstrating its versatile ability to leverage cross-variate dependency for improved forecasting accuracy.
• Abstract（参考訳）: 共変量体は実践的な時系列予測において欠かせない役割を担い、過去から豊かな文脈を提供し、時には未来へと拡張する。 しかし、それらの可用性はシナリオによって異なり、状況はしばしば複数のターゲット変数を同時に含む。 さらに、それらの間の相互依存性は多粒体であり、いくつかの共変体はターゲット変数に短期的な影響を持ち、他の共変体は長期的相関を示す。 共変量インフォームド予測におけるこの不均一性と複雑な依存関係は、既存のディープモデルに重大な課題をもたらす。 これらの問題に対処するために,複数ターゲットを柔軟に活用するパッチベースのトランスフォーマであるCITRASを提案する。 正準変換器の強い自己回帰能力を保存する一方で、CITRASはパッチワイドな異種間注意(Key-Value (KV) ShiftとAttention Score Smoothing)の2つの新しいメカニズムを導入している。 KV Shiftは、将来の既知の共変数を、並列依存関係に基づいてターゲット変数の予測にシームレスに組み込む。 さらに、Attention Score Smoothingは、パッチ単位のクロスバリアント依存関係を、過去の一連の注目スコアをスムースにすることで、局所的に正確なグローバル変数レベルの依存関係に変換する。 実験により、CITRASは共変量インフォームドおよび多変量予測における最先端性能を実現し、その多変量依存性を活用して予測精度を向上する多変量予測能力を実証した。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• DLFormer: Enhancing Explainability in Multivariate Time Series Forecasting using Distributed Lag Embedding [4.995397953581609]
  本研究では,分散ラグ埋め込みと統合されたアテンションベースのアーキテクチャであるDLFormerを紹介する。 既存の注目ベースのハイパフォーマンスモデルと比較して、優れたパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting [1.5165632546654102]
  本稿では,変数間の相関を抽出する可変相関変換器(VCformer)を提案する。 VCAはクエリとキー間の遅延に応じて、相互相関スコアを計算し、統合する。 クープマンダイナミクス理論にインスパイアされた我々は、時系列の非定常性を改善するために、クープマン時間検出器(KTD)を開発した。
  論文  参考訳（メタデータ） (2024-05-19T07:39:22Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting [9.433527676880903]
  正確な予測結果の鍵となるのは、各タイムステップ間の長期的な依存関係をキャプチャすることだ。 最近の手法は主にクロスタイムの依存性に焦点を当てているが、クロス変数の依存性を考慮することはめったにない。 我々は、クロス時間とクロス変数の依存関係をよりよく活用するために、現代的な純粋な畳み込み構造、すなわちクロス-LKTCNを提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:50:52Z)
• Copula Variational LSTM for High-dimensional Cross-market Multivariate Dependence Modeling [46.75628526959982]
  我々は、変分連続ニューラルネットワークとコプラに基づく依存モデルを統合するための最初の試みを行う。 我々の変分ニューラルネットワークWPVC-VLSTMは時系列の連続的依存度と構造をモデル化する。 これは、線形モデル、ボラティリティモデル、ディープニューラルネットワーク、市場横断ポートフォリオ予測における変動リカレントネットワークなど、ベンチマークを上回っている。
  論文  参考訳（メタデータ） (2023-05-09T08:19:08Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting [7.805077630467324]
  時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。 最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。 しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
  論文  参考訳（メタデータ） (2022-06-11T10:34:29Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。