論文の概要: CITRAS: Covariate-Informed Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2503.24007v2
• Date: Mon, 26 May 2025 05:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:54.035976
• Title: CITRAS: Covariate-Informed Transformer for Time Series Forecasting
• Title（参考訳）: CITRAS: 時系列予測のための共変量変換器
• Authors: Yosuke Yamaguchi, Issei Suemitsu, Wenpeng Wei,
• Abstract要約: 本稿では,複数ターゲット,過去の共変量,将来の共変量などを柔軟に活用するデコーダのみの変換器CITRASを提案する。 実世界の13のベンチマークにおいてCITRASが最先端のモデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical time series forecasting, covariates provide rich contextual information that can potentially enhance the forecast of target variables. Although some covariates extend into the future forecasting horizon (e.g., calendar events, discount schedules), most multivariate models fail to leverage this pivotal insight due to the length discrepancy with target variables. Additionally, capturing the dependency between target variables and covariates is non-trivial, as models must precisely reflect the local impact of covariates while also capturing global cross-variate dependencies. To overcome these challenges, we propose CITRAS, a decoder-only Transformer that flexibly leverages multiple targets, past covariates, and future covariates. While preserving strong autoregressive capabilities, CITRAS introduces two novel mechanisms in patch-wise cross-variate attention: Key-Value (KV) Shift and Attention Score Smoothing. KV Shift seamlessly incorporates future covariates into the forecasting of target variables based on their concurrent dependencies. Additionally, Attention Score Smoothing refines locally accurate patch-wise cross-variate dependencies into global variate-level dependencies by smoothing the past series of attention scores. Experimentally, CITRAS outperforms state-of-the-art models on thirteen real-world benchmarks from both covariate-informed and multivariate settings, demonstrating its versatile ability to leverage cross-variate and cross-time dependencies for improved forecasting accuracy.
• Abstract（参考訳）: 実時間時系列予測では、コバリアイトはリッチな文脈情報を提供し、ターゲット変数の予測を強化する可能性がある。 いくつかの共変量体は将来の予測地平線(例えば、カレンダーイベント、割引スケジュールなど)に拡張されるが、ほとんどの多変量体モデルは、ターゲット変数との長さの相違により、この重要な洞察を活用できない。 さらに、ターゲット変数と共変量の間の依存関係の取得は簡単ではない。モデルが共変量の影響を正確に反映し、グローバルなクロス変数依存性をキャプチャする必要があるからだ。 これらの課題を克服するために,複数ターゲット,過去の共変量,将来の共変量などを柔軟に活用するデコーダのみのトランスフォーマであるCITRASを提案する。 強力な自己回帰機能を保ちながら、CITRASはパッチワイドのクロスバリアントアテンションにおいて、キーバリュー(KV)シフトとアテンションスコアスムースという2つの新しいメカニズムを導入している。 KV Shiftは、並列依存関係に基づいて、将来の共変をターゲット変数の予測にシームレスに組み込む。 さらに、Attention Score Smoothingは、過去の一連の注目スコアをスムースにすることで、パッチワイドのクロスバリアント依存関係をグローバルな変数レベルの依存関係に局所的に洗練する。 実験的に、CITRASは、共変量インフォームと多変量設定の両方から13の実世界のベンチマークの最先端モデルより優れており、その多変量およびクロスタイム依存関係を活用して予測精度を向上する多角的能力を実証している。

関連論文リスト

• Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations [2.2091590689610823]
  私たちはTransformerアーキテクチャを再使用して、クロスタイムとクロス変数の依存関係の両方をモデル化します。 提案手法は13の実世界のデータセットにまたがって最先端のパフォーマンスを実現し,オリジナルモデルよりも最大20.7%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-01T04:59:05Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• DLFormer: Enhancing Explainability in Multivariate Time Series Forecasting using Distributed Lag Embedding [4.995397953581609]
  本研究では,分散ラグ埋め込みと統合されたアテンションベースのアーキテクチャであるDLFormerを紹介する。 既存の注目ベースのハイパフォーマンスモデルと比較して、優れたパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting [1.5165632546654102]
  本稿では,変数間の相関を抽出する可変相関変換器(VCformer)を提案する。 VCAはクエリとキー間の遅延に応じて、相互相関スコアを計算し、統合する。 クープマンダイナミクス理論にインスパイアされた我々は、時系列の非定常性を改善するために、クープマン時間検出器(KTD)を開発した。
  論文  参考訳（メタデータ） (2024-05-19T07:39:22Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting [9.433527676880903]
  正確な予測結果の鍵となるのは、各タイムステップ間の長期的な依存関係をキャプチャすることだ。 最近の手法は主にクロスタイムの依存性に焦点を当てているが、クロス変数の依存性を考慮することはめったにない。 我々は、クロス時間とクロス変数の依存関係をよりよく活用するために、現代的な純粋な畳み込み構造、すなわちクロス-LKTCNを提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:50:52Z)
• Copula Variational LSTM for High-dimensional Cross-market Multivariate Dependence Modeling [46.75628526959982]
  我々は、変分連続ニューラルネットワークとコプラに基づく依存モデルを統合するための最初の試みを行う。 我々の変分ニューラルネットワークWPVC-VLSTMは時系列の連続的依存度と構造をモデル化する。 これは、線形モデル、ボラティリティモデル、ディープニューラルネットワーク、市場横断ポートフォリオ予測における変動リカレントネットワークなど、ベンチマークを上回っている。
  論文  参考訳（メタデータ） (2023-05-09T08:19:08Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。