論文の概要: Enhancing Channel-Independent Time-Series Forecasting via Cross-Variate Patch Embedding

• arxiv url: http://arxiv.org/abs/2505.12761v1
• Date: Mon, 19 May 2025 06:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.444812
• Title: Enhancing Channel-Independent Time-Series Forecasting via Cross-Variate Patch Embedding
• Title（参考訳）: 異種パッチ埋め込みによるチャンネルに依存しない時系列予測の強化
• Authors: Donghwa Shin, Edwin Zhang,
• Abstract要約: チャネル非依存(CI)モデルにクロスバリアントコンテキストを注入する軽量CDモジュールとして,CVPE(Cross-Variate Patch Embeddings)を提案する。 CVPEをマルチモーダルCI予測モデルであるTime-LLMに統合し,その有効性を示す。
• 参考スコア（独自算出の注目度）: 1.1607669836339873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have recently gained popularity in time series forecasting due to their ability to capture long-term dependencies. However, many existing models focus only on capturing temporal dependencies while omitting intricate relationships between variables. Recent models have tried tackling this by explicitly modeling both cross-time and cross-variate dependencies through a sequential or unified attention mechanism, but they are entirely channel dependent (CD) across all layers, making them potentially susceptible to overfitting. To address this, we propose Cross-Variate Patch Embeddings (CVPE), a lightweight CD module that injects cross-variate context into channel-independent (CI) models by simply modifying the patch embedding process. We achieve this by adding a learnable positional encoding and a lightweight router-attention block to the vanilla patch embedding layer. We then integrate CVPE into Time-LLM, a multimodal CI forecasting model, to demonstrate its effectiveness in capturing cross-variate dependencies and enhance the CI model's performance. Extensive experimental results on seven real-world datasets show that our enhanced Time-LLM outperforms the original baseline model simply by incorporating the CVPE module, with no other changes.
• Abstract（参考訳）: トランスフォーマーは、長期依存関係をキャプチャする能力のために、最近時系列予測で人気を博している。 しかし、既存のモデルの多くは、変数間の複雑な関係を省略しながら、時間的依存関係をキャプチャすることだけに焦点を当てている。 最近のモデルは、シーケンシャルまたは統一されたアテンションメカニズムを通じて、クロスタイムとクロス変数の依存関係の両方を明示的にモデル化することで、この問題に対処しようとしています。 そこで本研究では,パッチの埋め込みプロセスを簡単に変更することで,クロスバリアントコンテキストをチャネル非依存(CI)モデルに注入する軽量CDモジュールであるCVPEを提案する。 我々は、バニラパッチ埋め込み層に学習可能な位置符号化と軽量ルータアテンションブロックを追加することで、これを実現する。 CVPEをマルチモーダルCI予測モデルであるTime-LLMに統合し、多変量依存関係をキャプチャし、CIモデルのパフォーマンスを高める効果を示す。 7つの実世界のデータセットに対する大規模な実験結果から、拡張されたTime-LLMはCVPEモジュールを組み込むことでオリジナルのベースラインモデルよりも優れており、他の変更はないことがわかった。

関連論文リスト

• VE: Modeling Multivariate Time Series Correlation with Variate Embedding [0.4893345190925178]
  現在のチャネル非依存(CI)モデルとCI最終射影層を持つモデルは相関を捉えることができない。 可変埋め込み(VE)パイプラインを提案し,各変数に対して一意かつ一貫した埋め込みを学習する。 VEパイプラインは、CI最終プロジェクション層を持つ任意のモデルに統合して、多変量予測を改善することができる。
  論文  参考訳（メタデータ） (2024-09-10T02:49:30Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting [1.5165632546654102]
  本稿では,変数間の相関を抽出する可変相関変換器(VCformer)を提案する。 VCAはクエリとキー間の遅延に応じて、相互相関スコアを計算し、統合する。 クープマンダイナミクス理論にインスパイアされた我々は、時系列の非定常性を改善するために、クープマン時間検出器(KTD)を開発した。
  論文  参考訳（メタデータ） (2024-05-19T07:39:22Z)
• SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
  時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。 いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。 本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:06:35Z)
• ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for Multivariate Time Series Analysis [7.979501926410114]
  ConvTimeNetは時系列解析のために設計された階層的な純粋な畳み込みモデルである。 データ駆動方式で時間依存の基本単位の局所パターンを適応的に知覚する。 大規模なカーネル機構を使用して、畳み込みブロックが深く積み重ねられるようにする。
  論文  参考訳（メタデータ） (2024-03-03T12:05:49Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。