論文の概要: CITRAS: Covariate-Informed Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2503.24007v1
• Date: Mon, 31 Mar 2025 12:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.38018
• Title: CITRAS: Covariate-Informed Transformer for Time Series Forecasting
• Title（参考訳）: CITRAS: 時系列予測のための共変量変換器
• Authors: Yosuke Yamaguchi, Issei Suemitsu, Wenpeng Wei,
• Abstract要約: CITRASはパッチベースのTransformerで、複数のターゲットを柔軟に活用し、過去と将来の水平線の両方をカバーする。 共変量インフォームドおよび多変量予測における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Covariates play an indispensable role in practical time series forecasting, offering rich context from the past and sometimes extending into the future. However, their availability varies depending on the scenario, and situations often involve multiple target variables simultaneously. Moreover, the cross-variate dependencies between them are multi-granular, with some covariates having a short-term impact on target variables and others showing long-term correlations. This heterogeneity and the intricate dependencies arising in covariate-informed forecasting present significant challenges to existing deep models. To address these issues, we propose CITRAS, a patch-based Transformer that flexibly leverages multiple targets and covariates covering both the past and the future forecasting horizon. While preserving the strong autoregressive capabilities of the canonical Transformer, CITRAS introduces two novel mechanisms in patch-wise cross-variate attention: Key-Value (KV) Shift and Attention Score Smoothing. KV Shift seamlessly incorporates future known covariates into the forecasting of target variables based on their concurrent dependencies. Additionally, Attention Score Smoothing transforms locally accurate patch-wise cross-variate dependencies into global variate-level dependencies by smoothing the past series of attention scores. Experimentally, CITRAS achieves state-of-the-art performance in both covariate-informed and multivariate forecasting, demonstrating its versatile ability to leverage cross-variate dependency for improved forecasting accuracy.
• Abstract（参考訳）: 共変量体は実践的な時系列予測において欠かせない役割を担い、過去から豊かな文脈を提供し、時には未来へと拡張する。 しかし、それらの可用性はシナリオによって異なり、状況はしばしば複数のターゲット変数を同時に含む。 さらに、それらの間の相互依存性は多粒体であり、いくつかの共変体はターゲット変数に短期的な影響を持ち、他の共変体は長期的相関を示す。 共変量インフォームド予測におけるこの不均一性と複雑な依存関係は、既存のディープモデルに重大な課題をもたらす。 これらの問題に対処するために,複数ターゲットを柔軟に活用するパッチベースのトランスフォーマであるCITRASを提案する。 正準変換器の強い自己回帰能力を保存する一方で、CITRASはパッチワイドな異種間注意(Key-Value (KV) ShiftとAttention Score Smoothing)の2つの新しいメカニズムを導入している。 KV Shiftは、将来の既知の共変数を、並列依存関係に基づいてターゲット変数の予測にシームレスに組み込む。 さらに、Attention Score Smoothingは、パッチ単位のクロスバリアント依存関係を、過去の一連の注目スコアをスムースにすることで、局所的に正確なグローバル変数レベルの依存関係に変換する。 実験により、CITRASは共変量インフォームドおよび多変量予測における最先端性能を実現し、その多変量依存性を活用して予測精度を向上する多変量予測能力を実証した。

関連論文リスト

• CrossLinear: Plug-and-Play Cross-Correlation Embedding for Time Series Forecasting with Exogenous Variables [20.703629642499664]
  CrossLinearは、変数間の依存関係をモデリングする際の課題に対処する、線形ベースの新しい予測モデルである。 この軽量モジュールは、計算コストを最小限にして変数間の依存関係をキャプチャし、既存のニューラルネットワークにシームレスに統合する。 12の実世界のデータセットの実験では、CrossLinearは短期および長期の予測タスクにおいて優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-05-29T05:34:40Z)
• Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations [2.2091590689610823]
  私たちはTransformerアーキテクチャを再使用して、クロスタイムとクロス変数の依存関係の両方をモデル化します。 提案手法は13の実世界のデータセットにまたがって最先端のパフォーマンスを実現し,オリジナルモデルよりも最大20.7%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-01T04:59:05Z)
• Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models [2.6061534894032907]
  我々は,共変量シフトを緩和するためのフィッシャー情報ペナルティと,誤分類例における過度な信頼を減らすための信頼ミスアライメントペナルティ(CMP)を組み合わせた統一的アプローチであるtextbfConfidence-Calibrated Covariate Shift Correction (CalShift)を導入する。 CalShiftはモデルのキャリブレーションを大幅に改善し、期待エラー(ECE)を最大5.82%削減する。 この結果から,CalShiftは実世界のアプリケーション向けに,堅牢で信頼性の高い低ショットビジョン言語システムを構築するための有望な戦略であることを強調した。
  論文  参考訳（メタデータ） (2025-02-11T10:10:15Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• DLFormer: Enhancing Explainability in Multivariate Time Series Forecasting using Distributed Lag Embedding [4.995397953581609]
  本研究では,分散ラグ埋め込みと統合されたアテンションベースのアーキテクチャであるDLFormerを紹介する。 既存の注目ベースのハイパフォーマンスモデルと比較して、優れたパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting [1.5165632546654102]
  本稿では,変数間の相関を抽出する可変相関変換器(VCformer)を提案する。 VCAはクエリとキー間の遅延に応じて、相互相関スコアを計算し、統合する。 クープマンダイナミクス理論にインスパイアされた我々は、時系列の非定常性を改善するために、クープマン時間検出器(KTD)を開発した。
  論文  参考訳（メタデータ） (2024-05-19T07:39:22Z)
• Evaluating the effectiveness of predicting covariates in LSTM Networks for Time Series Forecasting [0.0]
  本稿では,長期予測地平線に対して単純かつ極めて効果的であるRNNアーキテクチャと組み合わせた季節時間セグメントを用いた新しい手法を提案する。 その結果, ある条件下では, 目標変数と共変する条件下では, モデル全体の性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-04-29T09:51:25Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting [9.433527676880903]
  正確な予測結果の鍵となるのは、各タイムステップ間の長期的な依存関係をキャプチャすることだ。 最近の手法は主にクロスタイムの依存性に焦点を当てているが、クロス変数の依存性を考慮することはめったにない。 我々は、クロス時間とクロス変数の依存関係をよりよく活用するために、現代的な純粋な畳み込み構造、すなわちクロス-LKTCNを提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:50:52Z)
• Copula Variational LSTM for High-dimensional Cross-market Multivariate Dependence Modeling [46.75628526959982]
  我々は、変分連続ニューラルネットワークとコプラに基づく依存モデルを統合するための最初の試みを行う。 我々の変分ニューラルネットワークWPVC-VLSTMは時系列の連続的依存度と構造をモデル化する。 これは、線形モデル、ボラティリティモデル、ディープニューラルネットワーク、市場横断ポートフォリオ予測における変動リカレントネットワークなど、ベンチマークを上回っている。
  論文  参考訳（メタデータ） (2023-05-09T08:19:08Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Multi-Target XGBoostLSS Regression [91.3755431537592]
  本稿では,複数の目標とその依存関係を確率論的回帰設定でモデル化するXGBoostLSSの拡張について述べる。 提案手法は,既存のGBMよりも実行時の方が優れており,精度も良好に比較できる。
  論文  参考訳（メタデータ） (2022-10-13T08:26:14Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。