論文の概要: Transformers with Sparse Attention for Granger Causality

• arxiv url: http://arxiv.org/abs/2411.13264v1
• Date: Wed, 20 Nov 2024 12:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:15.651739
• Title: Transformers with Sparse Attention for Granger Causality
• Title（参考訳）: 粒状因果性に対するスパークアテンションを有する変圧器
• Authors: Riya Mahesh, Rahul Vashisht, Chandrashekar Lakshminarayanan,
• Abstract要約: トランスフォーマーのような深層学習に基づく手法は、単なる相関を超えた時間的ダイナミクスや因果関係を捉えるのにますます使われている。 近年の研究では、変圧器の自己注意重みが因果関係の指標として有用であることが示唆されている。 本稿では,時系列データの変数間の因果関係と遅延依存性の差異を関連付けるために,自己アテンションモジュールの新たな修正を提案する。
• 参考スコア（独自算出の注目度）: 0.8249694498830561
• License:
• Abstract: Temporal causal analysis means understanding the underlying causes behind observed variables over time. Deep learning based methods such as transformers are increasingly used to capture temporal dynamics and causal relationships beyond mere correlations. Recent works suggest self-attention weights of transformers as a useful indicator of causal links. We leverage this to propose a novel modification to the self-attention module to establish causal links between the variables of multivariate time-series data with varying lag dependencies. Our Sparse Attention Transformer captures causal relationships using a two-fold approach - performing temporal attention first followed by attention between the variables across the time steps masking them individually to compute Granger Causality indices. The key novelty in our approach is the ability of the model to assert importance and pick the most significant past time instances for its prediction task against manually feeding a fixed time lag value. We demonstrate the effectiveness of our approach via extensive experimentation on several synthetic benchmark datasets. Furthermore, we compare the performance of our model with the traditional Vector Autoregression based Granger Causality method that assumes fixed lag length.
• Abstract（参考訳）: 時間的因果分析は、時間とともに観察された変数の背後にある根本原因を理解することを意味する。 トランスフォーマーのような深層学習に基づく手法は、単なる相関を超えた時間的ダイナミクスや因果関係を捉えるのにますます使われている。 近年の研究では、変圧器の自己注意重みが因果関係の指標として有用であることが示唆されている。 そこで本稿では,多変量時系列データの変数間の因果関係をラグ依存に変化させることを目的として,自己アテンションモジュールの新たな修正を提案する。 Sparse Attention Transformerは2倍のアプローチで因果関係をキャプチャします。 このアプローチにおける重要な新規性は、モデルが重要さを主張し、その予測タスクにおいて最も重要な過去のインスタンスを選択し、固定時間ラグ値を手動で供給することである。 提案手法の有効性を,複数のベンチマークデータセットを用いた広範囲な実験により実証する。 さらに,モデルの性能を従来のベクトルオートレグレッションに基づくグランガー因果性法と比較し,固定ラグ長を仮定する。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• DLFormer: Enhancing Explainability in Multivariate Time Series Forecasting using Distributed Lag Embedding [4.995397953581609]
  本研究では,分散ラグ埋め込みと統合されたアテンションベースのアーキテクチャであるDLFormerを紹介する。 既存の注目ベースのハイパフォーマンスモデルと比較して、優れたパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting [1.5165632546654102]
  本稿では,変数間の相関を抽出する可変相関変換器(VCformer)を提案する。 VCAはクエリとキー間の遅延に応じて、相互相関スコアを計算し、統合する。 クープマンダイナミクス理論にインスパイアされた我々は、時系列の非定常性を改善するために、クープマン時間検出器(KTD)を開発した。
  論文  参考訳（メタデータ） (2024-05-19T07:39:22Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting [4.666618110838523]
  時系列予測は、機器ライフサイクル予測、天気予報、交通流予測などの分野で広く利用されている。 一部の学者は、この強力な並列トレーニング能力のために、Transformerを時系列予測に適用しようと試みている。 既存のTransformerメソッドは、予測において決定的な役割を果たす小さな時間セグメントに十分な注意を払わない。
  論文  参考訳（メタデータ） (2022-02-23T10:33:12Z)
• Long-Range Transformers for Dynamic Spatiotemporal Forecasting [16.37467119526305]
  グラフニューラルネットワークに基づく手法は、変数関係を明示的にモデル化する。 ロングランジ変換器は、この拡張シーケンスに沿って時間、値、情報の相互作用を一緒に学習することができる。
  論文  参考訳（メタデータ） (2021-09-24T22:11:46Z)
• Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting [68.86835407617778]
  Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。 長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
  論文  参考訳（メタデータ） (2021-06-24T13:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。