論文の概要: CITRAS: Covariate-Informed Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2503.24007v3
• Date: Wed, 06 Aug 2025 11:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:08.114043
• Title: CITRAS: Covariate-Informed Transformer for Time Series Forecasting
• Title（参考訳）: CITRAS: 時系列予測のための共変量変換器
• Authors: Yosuke Yamaguchi, Issei Suemitsu, Wenpeng Wei,
• Abstract要約: 本稿では,複数ターゲット,過去の共変量,将来の共変量などを柔軟に活用するデコーダのみの変換器CITRASを提案する。 実世界の13のベンチマークにおいてCITRASが最先端のモデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical time series forecasting, covariates provide rich contextual information that can potentially enhance the forecast of target variables. Although some covariates extend into the future forecasting horizon (e.g., calendar events, discount schedules), most multivariate models fail to leverage this pivotal insight due to the length discrepancy with target variables. Additionally, capturing the dependency between target variables and covariates is non-trivial, as models must precisely reflect the local impact of covariates while also capturing global cross-variate dependencies. To overcome these challenges, we propose CITRAS, a decoder-only Transformer that flexibly leverages multiple targets, past covariates, and future covariates. While preserving strong autoregressive capabilities, CITRAS introduces two novel mechanisms in patch-wise cross-variate attention: Key-Value (KV) Shift and Attention Score Smoothing. KV Shift seamlessly incorporates future covariates into the forecasting of target variables based on their concurrent dependencies. Additionally, Attention Score Smoothing refines locally accurate patch-wise cross-variate dependencies into global variate-level dependencies by smoothing the past series of attention scores. Experimentally, CITRAS outperforms state-of-the-art models on thirteen real-world benchmarks from both covariate-informed and multivariate settings, demonstrating its versatile ability to leverage cross-variate and cross-time dependencies for improved forecasting accuracy.
• Abstract（参考訳）: 実時間時系列予測では、コバリアイトはリッチな文脈情報を提供し、ターゲット変数の予測を強化する可能性がある。 いくつかの共変量体は将来の予測地平線(例えば、カレンダーイベント、割引スケジュールなど)に拡張されるが、ほとんどの多変量体モデルは、ターゲット変数との長さの相違により、この重要な洞察を活用できない。 さらに、ターゲット変数と共変量の間の依存関係の取得は簡単ではない。モデルが共変量の影響を正確に反映し、グローバルなクロス変数依存性をキャプチャする必要があるからだ。 これらの課題を克服するために,複数ターゲット,過去の共変量,将来の共変量などを柔軟に活用するデコーダのみのトランスフォーマであるCITRASを提案する。 強力な自己回帰機能を保ちながら、CITRASはパッチワイドのクロスバリアントアテンションにおいて、キーバリュー(KV)シフトとアテンションスコアスムースという2つの新しいメカニズムを導入している。 KV Shiftは、並列依存関係に基づいて、将来の共変をターゲット変数の予測にシームレスに組み込む。 さらに、Attention Score Smoothingは、過去の一連の注目スコアをスムースにすることで、パッチワイドのクロスバリアント依存関係をグローバルな変数レベルの依存関係に局所的に洗練する。 実験的に、CITRASは、共変量インフォームと多変量設定の両方から13の実世界のベンチマークの最先端モデルより優れており、その多変量およびクロスタイム依存関係を活用して予測精度を向上する多角的能力を実証している。

関連論文リスト

• CrossLinear: Plug-and-Play Cross-Correlation Embedding for Time Series Forecasting with Exogenous Variables [20.703629642499664]
  CrossLinearは、変数間の依存関係をモデリングする際の課題に対処する、線形ベースの新しい予測モデルである。 この軽量モジュールは、計算コストを最小限にして変数間の依存関係をキャプチャし、既存のニューラルネットワークにシームレスに統合する。 12の実世界のデータセットの実験では、CrossLinearは短期および長期の予測タスクにおいて優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-05-29T05:34:40Z)
• Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations [2.2091590689610823]
  私たちはTransformerアーキテクチャを再使用して、クロスタイムとクロス変数の依存関係の両方をモデル化します。 提案手法は13の実世界のデータセットにまたがって最先端のパフォーマンスを実現し,オリジナルモデルよりも最大20.7%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-01T04:59:05Z)
• Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models [2.6061534894032907]
  我々は,共変量シフトを緩和するためのフィッシャー情報ペナルティと,誤分類例における過度な信頼を減らすための信頼ミスアライメントペナルティ(CMP)を組み合わせた統一的アプローチであるtextbfConfidence-Calibrated Covariate Shift Correction (CalShift)を導入する。 CalShiftはモデルのキャリブレーションを大幅に改善し、期待エラー(ECE)を最大5.82%削減する。 この結果から,CalShiftは実世界のアプリケーション向けに,堅牢で信頼性の高い低ショットビジョン言語システムを構築するための有望な戦略であることを強調した。
  論文  参考訳（メタデータ） (2025-02-11T10:10:15Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• DLFormer: Enhancing Explainability in Multivariate Time Series Forecasting using Distributed Lag Embedding [4.995397953581609]
  本研究では,分散ラグ埋め込みと統合されたアテンションベースのアーキテクチャであるDLFormerを紹介する。 既存の注目ベースのハイパフォーマンスモデルと比較して、優れたパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting [1.5165632546654102]
  本稿では,変数間の相関を抽出する可変相関変換器(VCformer)を提案する。 VCAはクエリとキー間の遅延に応じて、相互相関スコアを計算し、統合する。 クープマンダイナミクス理論にインスパイアされた我々は、時系列の非定常性を改善するために、クープマン時間検出器(KTD)を開発した。
  論文  参考訳（メタデータ） (2024-05-19T07:39:22Z)
• Evaluating the effectiveness of predicting covariates in LSTM Networks for Time Series Forecasting [0.0]
  本稿では,長期予測地平線に対して単純かつ極めて効果的であるRNNアーキテクチャと組み合わせた季節時間セグメントを用いた新しい手法を提案する。 その結果, ある条件下では, 目標変数と共変する条件下では, モデル全体の性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-04-29T09:51:25Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting [9.433527676880903]
  正確な予測結果の鍵となるのは、各タイムステップ間の長期的な依存関係をキャプチャすることだ。 最近の手法は主にクロスタイムの依存性に焦点を当てているが、クロス変数の依存性を考慮することはめったにない。 我々は、クロス時間とクロス変数の依存関係をよりよく活用するために、現代的な純粋な畳み込み構造、すなわちクロス-LKTCNを提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:50:52Z)
• Copula Variational LSTM for High-dimensional Cross-market Multivariate Dependence Modeling [46.75628526959982]
  我々は、変分連続ニューラルネットワークとコプラに基づく依存モデルを統合するための最初の試みを行う。 我々の変分ニューラルネットワークWPVC-VLSTMは時系列の連続的依存度と構造をモデル化する。 これは、線形モデル、ボラティリティモデル、ディープニューラルネットワーク、市場横断ポートフォリオ予測における変動リカレントネットワークなど、ベンチマークを上回っている。
  論文  参考訳（メタデータ） (2023-05-09T08:19:08Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Multi-Target XGBoostLSS Regression [91.3755431537592]
  本稿では,複数の目標とその依存関係を確率論的回帰設定でモデル化するXGBoostLSSの拡張について述べる。 提案手法は,既存のGBMよりも実行時の方が優れており,精度も良好に比較できる。
  論文  参考訳（メタデータ） (2022-10-13T08:26:14Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。