論文の概要: First De-Trend then Attend: Rethinking Attention for Time-Series
Forecasting
- arxiv url: http://arxiv.org/abs/2212.08151v1
- Date: Thu, 15 Dec 2022 21:34:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 15:58:20.788402
- Title: First De-Trend then Attend: Rethinking Attention for Time-Series
Forecasting
- Title(参考訳): 最初のDe-Trend then Attend: 時系列予測の注意を再考する
- Authors: Xiyuan Zhang, Xiaoyong Jin, Karthick Gopalswamy, Gaurav Gupta,
Youngsuk Park, Xingjian Shi, Hao Wang, Danielle C. Maddix, Yuyang Wang
- Abstract要約: 我々は、異なる時間領域における注意モデルと周波数領域の関係を理解することを模索する。
本稿では,TDformer (Trend Decomposition Transformer)を提案する。
ベンチマーク時系列予測データセットの実験は、TDformerが既存の注目モデルに対して最先端のパフォーマンスを達成することを示す。
- 参考スコア(独自算出の注目度): 17.89566168289471
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformer-based models have gained large popularity and demonstrated
promising results in long-term time-series forecasting in recent years. In
addition to learning attention in time domain, recent works also explore
learning attention in frequency domains (e.g., Fourier domain, wavelet domain),
given that seasonal patterns can be better captured in these domains. In this
work, we seek to understand the relationships between attention models in
different time and frequency domains. Theoretically, we show that attention
models in different domains are equivalent under linear conditions (i.e.,
linear kernel to attention scores). Empirically, we analyze how attention
models of different domains show different behaviors through various synthetic
experiments with seasonality, trend and noise, with emphasis on the role of
softmax operation therein. Both these theoretical and empirical analyses
motivate us to propose a new method: TDformer (Trend Decomposition
Transformer), that first applies seasonal-trend decomposition, and then
additively combines an MLP which predicts the trend component with Fourier
attention which predicts the seasonal component to obtain the final prediction.
Extensive experiments on benchmark time-series forecasting datasets demonstrate
that TDformer achieves state-of-the-art performance against existing
attention-based models.
- Abstract(参考訳): 近年,トランスフォーマーモデルが広く普及し,長期の時系列予測において有望な結果が示された。
時間領域における注意の獲得に加えて、近年の研究では、季節パターンがこれらの領域でよりよく捉えられることを踏まえて、周波数領域(例えばフーリエ領域、ウェーブレット領域)における注意の学習についても研究している。
本研究では,様々な時間領域における注意モデルと周波数領域の関係について考察する。
理論的には、異なる領域の注意モデルは線形条件(注意スコアに対する線形核)で等価である。
実験により,異なる領域の注意モデルが季節,傾向,騒音を伴う様々な合成実験を通して異なる行動を示す様子を解析し,ソフトマックス操作の役割を強調した。
tdformer (trend decomposition transformer) は、まず季節分解を行い、次にトレンド成分を予測するmlpと、季節成分を予測して最終予測を得るフーリエ注意とを付加的に結合する。
ベンチマーク時系列予測データセットに関する大規模な実験は、TDformerが既存の注目モデルに対して最先端のパフォーマンスを達成することを示す。
関連論文リスト
- PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from
the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。
7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文 参考訳(メタデータ) (2024-02-25T17:39:44Z) - FreDF: Learning to Forecast in Frequency Domain [56.24773675942897]
時系列モデリングは、歴史的シーケンスとラベルシーケンスの両方に自己相関が存在するという点で、独特な課題である。
本稿では、周波数領域の予測を学習することでラベル自己相関の複雑さを回避できる周波数強調直接予測(FreDF)を導入する。
論文 参考訳(メタデータ) (2024-02-04T08:23:41Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-12T12:29:32Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series
Forecasting [26.080207374930055]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳(メタデータ) (2023-10-08T00:02:25Z) - Split Time Series into Patches: Rethinking Long-term Series Forecasting
with Dateformer [17.454822366228335]
時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。
本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。
ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
論文 参考訳(メタデータ) (2022-07-12T08:58:44Z) - FreDo: Frequency Domain-based Long-Term Time Series Forecasting [12.268979675200779]
誤差の蓄積により,高度なモデルでは,長期予測のベースラインモデルを上回る結果が得られない可能性が示唆された。
本稿では,ベースラインモデル上に構築された周波数領域に基づくニューラルネットワークモデルFreDoを提案する。
論文 参考訳(メタデータ) (2022-05-24T18:19:15Z) - Feature-weighted Stacking for Nonseasonal Time Series Forecasts: A Case
Study of the COVID-19 Epidemic Curves [0.0]
本研究では,非シーズン時間帯での利用可能性について,予測におけるアンサンブル手法について検討する。
予備予測段階における予測能力を証明する2つの予測モデルと2つのメタ機能からなる重畳アンサンブルを用いて遅延データ融合を提案する。
論文 参考訳(メタデータ) (2021-08-19T14:44:46Z) - Deep Autoregressive Models with Spectral Attention [74.08846528440024]
本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。
時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。
時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
論文 参考訳(メタデータ) (2021-07-13T11:08:47Z) - Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。
MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。
MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2021-02-23T05:23:35Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳(メタデータ) (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。