論文の概要: Correlated Attention in Transformers for Multivariate Time Series
- arxiv url: http://arxiv.org/abs/2311.11959v1
- Date: Mon, 20 Nov 2023 17:35:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 17:36:35.820213
- Title: Correlated Attention in Transformers for Multivariate Time Series
- Title（参考訳）: 多変量時系列変換器の相関注意
- Authors: Quang Minh Nguyen, Lam M. Nguyen, Subhro Das
- Abstract要約: 本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
- 参考スコア（独自算出の注目度）: 22.542109523780333
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multivariate time series (MTS) analysis prevails in real-world applications
such as finance, climate science and healthcare. The various self-attention
mechanisms, the backbone of the state-of-the-art Transformer-based models,
efficiently discover the temporal dependencies, yet cannot well capture the
intricate cross-correlation between different features of MTS data, which
inherently stems from complex dynamical systems in practice. To this end, we
propose a novel correlated attention mechanism, which not only efficiently
captures feature-wise dependencies, but can also be seamlessly integrated
within the encoder blocks of existing well-known Transformers to gain
efficiency improvement. In particular, correlated attention operates across
feature channels to compute cross-covariance matrices between queries and keys
with different lag values, and selectively aggregate representations at the
sub-series level. This architecture facilitates automated discovery and
representation learning of not only instantaneous but also lagged
cross-correlations, while inherently capturing time series auto-correlation.
When combined with prevalent Transformer baselines, correlated attention
mechanism constitutes a better alternative for encoder-only architectures,
which are suitable for a wide range of tasks including imputation, anomaly
detection and classification. Extensive experiments on the aforementioned tasks
consistently underscore the advantages of correlated attention mechanism in
enhancing base Transformer models, and demonstrate our state-of-the-art results
in imputation, anomaly detection and classification.
- Abstract（参考訳）: 多変量時系列分析(MTS)は、金融、気候科学、医療といった現実世界の応用に広く用いられている。
最先端のTransformerベースのモデルのバックボーンである様々な自己注意機構は、時間的依存関係を効率的に発見するが、MTSデータの異なる特徴間の複雑な相互相関は、本質的には複雑な力学系に由来する。
そこで本研究では,特徴量依存を効率的にキャプチャするだけでなく,既存のよく知られたトランスフォーマーのエンコーダブロックにシームレスに統合することで,効率向上を実現するための新しいアテンション機構を提案する。
特に、相関した注意は機能チャネル間で動作し、異なるラグ値を持つクエリとキー間の相互分散行列を計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、時系列の自己相関を本質的に捉えながら、瞬時だけでなく遅延した相互相関の自動発見と表現学習を促進する。
一般的なトランスのベースラインと組み合わせると、相関注意機構はエンコーダのみのアーキテクチャよりも優れた選択肢となり、インプテーション、異常検出、分類など幅広いタスクに適している。
基本変圧器モデルの強化における注意の相関機構の利点を一貫して強調するタスクに関する広範な実験を行い, インプテーション, 異常検出, 分類の結果を実証した。
関連論文リスト
- PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly
Detection using Data Degradation Scheme [0.7216399430290167]
時系列、特にラベルなしデータに対する異常検出タスクは、難しい問題である。
自己教師型モデルトレーニングに適切なデータ劣化スキームを適用することで、この問題に対処する。
自己認識機構に触発されて、時間的文脈を認識するトランスフォーマーベースのアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-05-08T05:42:24Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳（メタデータ） (2023-02-20T07:46:14Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳（メタデータ） (2022-12-29T09:56:33Z) - DRAformer: Differentially Reconstructed Attention Transformer for
Time-Series Forecasting [7.805077630467324]
時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。
最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。
しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
論文 参考訳（メタデータ） (2022-06-11T10:34:29Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳（メタデータ） (2022-05-31T01:19:18Z) - HIFI: Anomaly Detection for Multivariate Time Series with High-order
Feature Interactions [7.016615391171876]
HIFIは自動的に多変量特徴相互作用グラフを構築し、グラフ畳み込みニューラルネットワークを使用して高次特徴相互作用を実現する。
3つの公開データセットの実験は、最先端のアプローチと比較して、我々のフレームワークの優位性を示している。
論文 参考訳（メタデータ） (2021-06-11T04:57:03Z) - Learning Graph Structures with Transformer for Multivariate Time Series
Anomaly Detection in IoT [11.480824844205864]
本研究は,グラフ構造とグラフ畳み込みを自動的に学習することにより,多変量時系列異常検出のための新しいフレームワークGTAを提案する。
また,グラフノード間の異常情報フローをモデル化するために,影響伝播畳み込みという新しいグラフ畳み込みを考案した。
4つの公開異常検出ベンチマークの実験は、我々のアプローチが他の最先端技術よりも優れていることをさらに証明している。
論文 参考訳（メタデータ） (2021-04-08T01:45:28Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳（メタデータ） (2021-03-06T09:10:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。