論文の概要: First De-Trend then Attend: Rethinking Attention for Time-Series Forecasting

• arxiv url: http://arxiv.org/abs/2212.08151v1
• Date: Thu, 15 Dec 2022 21:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:58:20.788402
• Title: First De-Trend then Attend: Rethinking Attention for Time-Series Forecasting
• Title（参考訳）: 最初のDe-Trend then Attend: 時系列予測の注意を再考する
• Authors: Xiyuan Zhang, Xiaoyong Jin, Karthick Gopalswamy, Gaurav Gupta, Youngsuk Park, Xingjian Shi, Hao Wang, Danielle C. Maddix, Yuyang Wang
• Abstract要約: 我々は、異なる時間領域における注意モデルと周波数領域の関係を理解することを模索する。 本稿では,TDformer (Trend Decomposition Transformer)を提案する。 ベンチマーク時系列予測データセットの実験は、TDformerが既存の注目モデルに対して最先端のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 17.89566168289471
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based models have gained large popularity and demonstrated promising results in long-term time-series forecasting in recent years. In addition to learning attention in time domain, recent works also explore learning attention in frequency domains (e.g., Fourier domain, wavelet domain), given that seasonal patterns can be better captured in these domains. In this work, we seek to understand the relationships between attention models in different time and frequency domains. Theoretically, we show that attention models in different domains are equivalent under linear conditions (i.e., linear kernel to attention scores). Empirically, we analyze how attention models of different domains show different behaviors through various synthetic experiments with seasonality, trend and noise, with emphasis on the role of softmax operation therein. Both these theoretical and empirical analyses motivate us to propose a new method: TDformer (Trend Decomposition Transformer), that first applies seasonal-trend decomposition, and then additively combines an MLP which predicts the trend component with Fourier attention which predicts the seasonal component to obtain the final prediction. Extensive experiments on benchmark time-series forecasting datasets demonstrate that TDformer achieves state-of-the-art performance against existing attention-based models.
• Abstract（参考訳）: 近年,トランスフォーマーモデルが広く普及し,長期の時系列予測において有望な結果が示された。 時間領域における注意の獲得に加えて、近年の研究では、季節パターンがこれらの領域でよりよく捉えられることを踏まえて、周波数領域(例えばフーリエ領域、ウェーブレット領域)における注意の学習についても研究している。 本研究では,様々な時間領域における注意モデルと周波数領域の関係について考察する。 理論的には、異なる領域の注意モデルは線形条件(注意スコアに対する線形核)で等価である。 実験により,異なる領域の注意モデルが季節,傾向,騒音を伴う様々な合成実験を通して異なる行動を示す様子を解析し,ソフトマックス操作の役割を強調した。 tdformer (trend decomposition transformer) は、まず季節分解を行い、次にトレンド成分を予測するmlpと、季節成分を予測して最終予測を得るフーリエ注意とを付加的に結合する。 ベンチマーク時系列予測データセットに関する大規模な実験は、TDformerが既存の注目モデルに対して最先端のパフォーマンスを達成することを示す。

関連論文リスト

• FlexTSF: A Universal Forecasting Model for Time Series with Variable Regularities [17.164913785452367]
  我々は,より優れた一般化を持ち,正規時間と不規則時間の両方をサポートする普遍時系列予測モデルFlexTSFを提案する。 12のデータセットの実験では、FlexTSFは、それぞれ通常の時系列と不規則時系列のために設計された最先端の予測モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-30T16:14:09Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Learning Pattern-Specific Experts for Time Series Forecasting Under Patch-level Distribution Shift [30.581736814767606]
  時系列予測は、過去のデータに基づいて将来の価値を予測することを目的としている。 実世界の時間はしばしば、季節、動作条件、意味的な意味など、セグメントごとに異なるパターンを持つ複雑な非一様分布を示す。 本稿では,より正確で適応可能な時系列予測のために,パターン特化の専門家を活用した新しいアーキテクチャbftextSを提案する。
  論文  参考訳（メタデータ） (2024-10-13T13:35:29Z)
• TSI: A Multi-View Representation Learning Approach for Time Series Forecasting [29.05140751690699]
  本研究では,時系列予測のための新しいマルチビュー手法を提案する。 傾向と季節表現を独立成分分析(ICA)に基づく表現と統合する。 このアプローチは時系列データの全体的理解を提供し、しばしば曖昧で非線形な関係を見逃す伝統的なモデルを越えている。
  論文  参考訳（メタデータ） (2024-09-30T02:11:57Z)
• FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
  時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。 現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。 本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T02:37:02Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• FreDF: Learning to Forecast in Frequency Domain [56.24773675942897]
  時系列モデリングは、歴史的シーケンスとラベルシーケンスの両方に自己相関が存在するという点で、独特な課題である。 本稿では、周波数領域の予測を学習することでラベル自己相関の複雑さを回避できる周波数強調直接予測(FreDF)を導入する。
  論文  参考訳（メタデータ） (2024-02-04T08:23:41Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Deep Autoregressive Models with Spectral Attention [74.08846528440024]
  本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。 時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。 時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
  論文  参考訳（メタデータ） (2021-07-13T11:08:47Z)
• Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
  シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。 MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。 MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-02-23T05:23:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。