論文の概要: DRAformer: Differentially Reconstructed Attention Transformer for
Time-Series Forecasting
- arxiv url: http://arxiv.org/abs/2206.05495v1
- Date: Sat, 11 Jun 2022 10:34:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:29:29.408110
- Title: DRAformer: Differentially Reconstructed Attention Transformer for
Time-Series Forecasting
- Title(参考訳): DRAformer:時系列予測のための差分再構成アテンション変換器
- Authors: Benhan Li, Shengdong Du, Tianrui Li, Jie Hu, Zhen Jia
- Abstract要約: 時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。
最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。
しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
- 参考スコア(独自算出の注目度): 7.805077630467324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time-series forecasting plays an important role in many real-world scenarios,
such as equipment life cycle forecasting, weather forecasting, and traffic flow
forecasting. It can be observed from recent research that a variety of
transformer-based models have shown remarkable results in time-series
forecasting. However, there are still some issues that limit the ability of
transformer-based models on time-series forecasting tasks: (i) learning
directly on raw data is susceptible to noise due to its complex and unstable
feature representation; (ii) the self-attention mechanisms pay insufficient
attention to changing features and temporal dependencies. In order to solve
these two problems, we propose a transformer-based differentially reconstructed
attention model DRAformer. Specifically, DRAformer has the following
innovations: (i) learning against differenced sequences, which preserves clear
and stable sequence features by differencing and highlights the changing
properties of sequences; (ii) the reconstructed attention: integrated distance
attention exhibits sequential distance through a learnable Gaussian kernel,
distributed difference attention calculates distribution difference by mapping
the difference sequence to the adaptive feature space, and the combination of
the two effectively focuses on the sequences with prominent associations; (iii)
the reconstructed decoder input, which extracts sequence features by
integrating variation information and temporal correlations, thereby obtaining
a more comprehensive sequence representation. Extensive experiments on four
large-scale datasets demonstrate that DRAformer outperforms state-of-the-art
baselines.
- Abstract(参考訳): 時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。
最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。
しかしながら、時系列予測タスクにおけるトランスフォーマーベースのモデルの能力を制限する問題はまだいくつかある。
i) 生データを直接学習することは,その複雑で不安定な特徴表現により,騒音の影響を受けやすい。
(ii)自己着脱機構は,特徴の変化や時間依存に十分注意を払わない。
これら2つの問題を解決するために, 変圧器を用いた微分再構成型注意モデルdraformerを提案する。
具体的には、DRAformerには次のようなイノベーションがあります。
一 配列の相違により明瞭で安定した配列の特徴を保ち、配列の変化する性質を強調する差分配列に対する学習
二) 再構成された注意:統合された距離注意は、学習可能なガウス核を通して逐次距離を示し、分散差分注意は、差分列を適応特徴空間にマッピングすることにより分布差を計算し、これらの組み合わせは、顕著な関連のある配列に効果的に集中する。
三 変化情報と時間相関を統合してシーケンス特徴を抽出する再構成デコーダ入力により、より包括的なシーケンス表現が得られる。
4つの大規模データセットに関する広範な実験は、draformerが最先端のベースラインよりも優れていることを示している。
関連論文リスト
- TimeXer: Empowering Transformers for Time Series Forecasting with
Exogenous Variables [82.07393844821522]
内因性変数の予測を強化するために外部情報を利用する新しいフレームワークであるTimeXerを提案する。
TimeXerは、内在変数による時系列予測を大幅に改善し、12の実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-29T11:54:35Z) - A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。
トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。
提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文 参考訳(メタデータ) (2024-02-08T03:00:50Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal
and Channel Mixing [18.058617044421293]
本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。
MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。
いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-02-09T08:52:49Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2023-01-08T12:20:46Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - A Differential Attention Fusion Model Based on Transformer for Time
Series Forecasting [4.666618110838523]
時系列予測は、機器ライフサイクル予測、天気予報、交通流予測などの分野で広く利用されている。
一部の学者は、この強力な並列トレーニング能力のために、Transformerを時系列予測に適用しようと試みている。
既存のTransformerメソッドは、予測において決定的な役割を果たす小さな時間セグメントに十分な注意を払わない。
論文 参考訳(メタデータ) (2022-02-23T10:33:12Z) - Stacking VAE with Graph Neural Networks for Effective and Interpretable
Time Series Anomaly Detection [5.935707085640394]
本研究では,実効かつ解釈可能な時系列異常検出のための,グラフニューラルネットワークを用いた自動エンコーダ(VAE)モデルを提案する。
我々は,提案モデルが3つの公開データセットの強いベースラインを上回っており,大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2021-05-18T09:50:00Z) - Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。
MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。
MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2021-02-23T05:23:35Z) - Pay Attention to Evolution: Time Series Forecasting with Deep
Graph-Evolution Learning [33.79957892029931]
本研究は時系列予測のためのニューラルネットワークアーキテクチャを提案する。
Recurrent Graph Evolution Neural Network (ReGENN) と名付けた。
多数のアンサンブル法と古典統計法との比較を行った。
論文 参考訳(メタデータ) (2020-08-28T20:10:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。