論文の概要: TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.01531v2
• Date: Fri, 31 Jan 2025 02:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:43.763394
• Title: TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting
• Title（参考訳）: TiVaT:多変量時系列予測における非同期依存性をキャプチャするための単一統一機構を持つ変換器
• Authors: Junwoo Ha, Hyukjae Kwon, Sungsoo Kim, Kisu Lee, Seungjae Park, Ha Young Kim,
• Abstract要約: TiVaTは、単一の統一モジュール、JA(Joint-Axis)アテンションモジュールを組み込んだ新しいアーキテクチャである。 JA attentionモジュールは、特に非同期インタラクションをキャプチャする関連機能を動的に選択する。 大規模な実験では、さまざまなデータセットにわたるTiVaTの全体的なパフォーマンスが示されている。
• 参考スコア（独自算出の注目度）: 4.733959271565453
• License:
• Abstract: Multivariate time series (MTS) forecasting is vital across various domains but remains challenging due to the need to simultaneously model temporal and inter-variate dependencies. Existing channel-dependent models, where Transformer-based models dominate, process these dependencies separately, limiting their capacity to capture complex interactions such as lead-lag dynamics. To address this issue, we propose TiVaT (Time-variate Transformer), a novel architecture incorporating a single unified module, a Joint-Axis (JA) attention module, that concurrently processes temporal and variate modeling. The JA attention module dynamically selects relevant features to particularly capture asynchronous interactions. In addition, we introduce distance-aware time-variate sampling in the JA attention, a novel mechanism that extracts significant patterns through a learned 2D embedding space while reducing noise. Extensive experiments demonstrate TiVaT's overall performance across diverse datasets, particularly excelling in scenarios with intricate asynchronous dependencies.
• Abstract（参考訳）: 多変量時系列(MTS)予測は、様々な領域において不可欠であるが、時間的および変数間の依存関係を同時にモデル化する必要があるため、依然として困難である。 Transformerベースのモデルが支配する既存のチャネル依存モデルは、これらの依存関係を別々に処理し、リードラグのダイナミックスのような複雑なインタラクションをキャプチャする能力を制限する。 この問題に対処するために,1つの統一モジュールを組み込んだ新しいアーキテクチャであるTiVaT(Time-variate Transformer)を提案する。 JA attentionモジュールは、特に非同期インタラクションをキャプチャする関連機能を動的に選択する。 さらに, ノイズを低減しつつ, 学習した2次元埋め込み空間を通じて重要なパターンを抽出する機構であるJAアテンションに, 距離認識時変サンプリングを導入する。 大規模な実験では、TiVaTの全体的なパフォーマンスが、さまざまなデータセットにわたって、特に複雑な非同期依存関係を持つシナリオで優れていることが示されている。

関連論文リスト

• TimeCNN: Refining Cross-Variable Interaction on Time Point for Time Series Forecasting [44.04862924157323]
  トランスフォーマーベースのモデルは、クロスタイムとクロス変数の相互作用をモデル化する上で大きなポテンシャルを示す。 本稿では,時系列予測を強化するために,異種間相互作用を洗練するためのTimeCNNモデルを提案する。 12の実世界のデータセットで実施された大規模な実験は、TimeCNNが一貫して最先端のモデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-07T09:16:58Z)
• TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
  TimeDiTは時間依存性学習と確率的サンプリングを組み合わせた拡散トランスフォーマーモデルである。 TimeDiTは、さまざまなタスクにわたるトレーニングと推論プロセスを調和させるために、統一的なマスキングメカニズムを採用している。 我々の体系的評価は、ゼロショット/ファインチューニングによる予測と計算という基本的なタスクにおいて、TimeDiTの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-03T22:31:57Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• CATS: Enhancing Multivariate Time Series Forecasting by Constructing Auxiliary Time Series as Exogenous Variables [9.95711569148527]
  本稿では,2次元時間・コンテキストアテンション機構のように機能する補助時間系列(CATS)を構築する手法を提案する。 基本2層をコア予測器として用いながら、CATSは最先端を達成し、従来の多変量モデルと比較して複雑性とパラメータを著しく低減する。
  論文  参考訳（メタデータ） (2024-03-04T01:52:40Z)
• A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation [89.86345494602642]
  既存の手法は、弱い時間的モデリング能力に制限されている。 この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。 DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-10T09:11:39Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting [8.881348323807158]
  上記の問題に対処するために,マルチスケール適応グラフニューラルネットワーク(MAGNN)を提案する。 4つの実世界のデータセットの実験では、MAGNNは様々な設定で最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-01-13T08:04:10Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
  本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。 具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。 提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
  論文  参考訳（メタデータ） (2020-01-09T10:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。