論文の概要: Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2412.18798v1
- Date: Wed, 25 Dec 2024 06:37:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:28:41.112469
- Title: Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting
- Title（参考訳）: Ister: 説明可能な多変量時系列予測のためのインバージョン季節変動分解変換器
- Authors: Fanpu Cao, Shu Yang, Zhengjian Chen, Ye Liu, Laizhong Cui,
- Abstract要約: 本稿では,Inverted Seasonal-Trend Decomposition Transformer (Ister) という新しいモデルを提案する。
アイスターはオリジナルの時系列を季節やトレンドの要素に分解する。
本稿では,季節成分処理のための新しいDotアテンション機構を提案し,精度,計算複雑性,解釈可能性の両方を改善した。
- 参考スコア（独自算出の注目度）: 10.32586981170693
- License:
- Abstract: In long-term time series forecasting, Transformer-based models have achieved great success, due to its ability to capture long-range dependencies. However, existing transformer-based methods face challenges in accurately identifying which variables play a pivotal role in the prediction process and tend to overemphasize noisy channels, thereby limiting the interpretability and practical effectiveness of the models. Besides, it faces scalability issues due to quadratic computational complexity of self-attention. In this paper, we propose a new model named Inverted Seasonal-Trend Decomposition Transformer (Ister), which addresses these challenges in long-term multivariate time series forecasting by designing an improved Transformer-based structure. Ister firstly decomposes original time series into seasonal and trend components. Then we propose a new Dot-attention mechanism to process the seasonal component, which improves both accuracy, computation complexity and interpretability. Upon completion of the training phase, it allows users to intuitively visualize the significance of each feature in the overall prediction. We conduct comprehensive experiments, and the results show that Ister achieves state-of-the-art (SOTA) performance on multiple datasets, surpassing existing models in long-term prediction tasks.
- Abstract（参考訳）: 長期的な時系列予測では、Transformerベースのモデルは、長距離依存関係をキャプチャできるため、大きな成功を収めている。
しかし、既存のトランスフォーマーベースの手法では、予測過程においてどの変数が重要な役割を果たすのかを正確に識別し、ノイズの多いチャネルを過度に強調する傾向があるため、モデルの解釈可能性や実用性は制限される。
さらに、自己注意の2次計算の複雑さのためにスケーラビリティの問題に直面している。
Inverted Seasonal-Trend Decomposition Transformer (Ister) と呼ばれる新しいモデルを提案する。
アイスターは最初にオリジナルの時系列を季節やトレンドの要素に分解する。
次に,季節成分を処理するための新しいDotアテンション機構を提案し,精度,計算複雑性,解釈可能性の両方を改善した。
トレーニングフェーズが完了すると、ユーザーは全体的な予測において各機能の意義を直感的に視覚化できる。
我々は総合的な実験を行い、その結果、Isterは複数のデータセット上で最先端(SOTA)のパフォーマンスを達成し、長期予測タスクにおいて既存のモデルを上回る結果を得た。
関連論文リスト
- EDformer: Embedded Decomposition Transformer for Interpretable Multivariate Time Series Predictions [4.075971633195745]
本稿では,時系列予測タスクのための組込みトランス「EDformer」を提案する。
基本要素を変更することなく、Transformerアーキテクチャを再利用し、その構成部品の有能な機能について検討する。
このモデルは、複雑な実世界の時系列データセットの精度と効率の観点から、最先端の予測結果を得る。
論文 参考訳（メタデータ） (2024-12-16T11:13:57Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix [7.3758245014991255]
Transformerベースのモデルのコアコンポーネントとしての自己保持機構は、大きな可能性を秘めている。
本稿では,Surrogate Attention Blocks (SAB) とSurrogate Feed-Forward Neural Network Blocks (SFB) を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。
このフレームワークは、自己注意層とフィードフォワード層をSABとSFBで置き換えることで、時間と空間の複雑さを軽減します。
論文 参考訳（メタデータ） (2024-05-21T02:37:47Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳（メタデータ） (2023-05-25T13:00:46Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-07-16T04:05:15Z) - ETSformer: Exponential Smoothing Transformers for Time-series
Forecasting [35.76867542099019]
時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。
特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
論文 参考訳（メタデータ） (2022-02-03T02:50:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。