論文の概要: TwinS: Revisiting Non-Stationarity in Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2406.03710v2
- Date: Sun, 14 Jul 2024 14:55:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 00:26:24.967139
- Title: TwinS: Revisiting Non-Stationarity in Multivariate Time Series Forecasting
- Title（参考訳）: TwinS:多変量時系列予測における非定常性の再検討
- Authors: Jiaxi Hu, Qingsong Wen, Sijie Ruan, Li Liu, Yuxuan Liang,
- Abstract要約: 非定常周期分布に対処するTransformer-based TwinSモデルを提案する。
ウェーブレット畳み込みモデルは、ウェーブレットのような畳み込みカーネルサイズをスケールすることで、ネストした期間をモデルとした。
周期認識注意は、畳み込みサブネットワークを通して周期関連スコアを生成することによって注意を誘導する。
Channel-Temporal Mixedは、チャネル時混合学習を通じて時系列間の全体的な関係をキャプチャする。
- 参考スコア（独自算出の注目度）: 29.208648615140575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, multivariate time series forecasting tasks have garnered increasing attention due to their significant practical applications, leading to the emergence of various deep forecasting models. However, real-world time series exhibit pronounced non-stationary distribution characteristics. These characteristics are not solely limited to time-varying statistical properties highlighted by non-stationary Transformer but also encompass three key aspects: nested periodicity, absence of periodic distributions, and hysteresis among time variables. In this paper, we begin by validating this theory through wavelet analysis and propose the Transformer-based TwinS model, which consists of three modules to address the non-stationary periodic distributions: Wavelet Convolution, Period-Aware Attention, and Channel-Temporal Mixed MLP. Specifically, The Wavelet Convolution models nested periods by scaling the convolution kernel size like wavelet transform. The Period-Aware Attention guides attention computation by generating period relevance scores through a convolutional sub-network. The Channel-Temporal Mixed MLP captures the overall relationships between time series through channel-time mixing learning. TwinS achieves SOTA performance compared to mainstream TS models, with a maximum improvement in MSE of 25.8\% over PatchTST.
- Abstract（参考訳）: 近年,多変量時系列予測タスクの実用化が進み,様々な深層予測モデルが出現している。
しかし、実世界の時系列は非定常的な分布特性を示す。
これらの特徴は、非定常トランスフォーマーによって強調される時間変化統計特性に限らず、ネスト周期性、周期分布の欠如、時間変数間のヒステリシスの3つの重要な側面を含んでいる。
本稿では,この理論をウェーブレット解析により検証し,非定常周期分布であるウェーブレット畳み込み,周期認識,チャネル-テンポラル混合MLPの3つのモジュールからなるトランスフォーマーベースTwinSモデルを提案する。
具体的には、ウェーブレット畳み込みモデルは、ウェーブレット変換のような畳み込みカーネルサイズをスケールすることで、ネストした期間をモデル化する。
周期認識注意は、畳み込みサブネットワークを通して周期関連スコアを生成して注意計算を導く。
Channel-Temporal Mixed MLPは、チャネル時混合学習を通じて時系列間の全体的な関係をキャプチャする。
TwinSはメインストリームのTSモデルと比較してSOTAのパフォーマンスを達成し、MSEはPatchTSTよりも25.8\%向上した。
関連論文リスト
- Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。
39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文 参考訳（メタデータ） (2024-10-14T13:01:11Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - Robust Multivariate Time Series Forecasting against Intra- and Inter-Series Transitional Shift [40.734564394464556]
本稿では,時系列内/時系列間の相関関係を統合的に把握し,時変遷移分布をモデル化するための統一確率グラフモデルを提案する。
6つの高定常MTSデータセットに対する広範囲な実験により、JointPGMの有効性と効率を検証した。
論文 参考訳（メタデータ） (2024-07-18T06:16:03Z) - FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。
現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。
本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
論文 参考訳（メタデータ） (2024-05-22T02:37:02Z) - Frequency-domain MLPs are More Effective Learners in Time Series
Forecasting [67.60443290781988]
時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。
最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。
本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
論文 参考訳（メタデータ） (2023-11-10T17:05:13Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳（メタデータ） (2023-05-20T05:16:31Z) - MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal
and Channel Mixing [18.058617044421293]
本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。
MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。
いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-02-09T08:52:49Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2023-01-08T12:20:46Z) - Features Fusion Framework for Multimodal Irregular Time-series Events [6.497816402045097]
マルチモーダルな不規則な時系列イベントは、サンプリング頻度、データ構成、時間的関係、特性が異なる。
本稿では,Long Short-Term Memory Network (LSTM) に基づくマルチモーダル不規則な時系列イベントのための特徴融合フレームワークを提案する。
MIMIC-IIIデータセットを用いた実験により,提案手法はAUC(受信者動作特性曲線下)とAP(平均精度)において,既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2022-09-05T02:27:12Z) - Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting [41.206310481507565]
本稿では,時間経過に伴う動的分布依存をモデル化するための時間的条件変動自動符号化(TCVAE)を提案する。
TCVAEは、依存関係を時間的条件分布として推論し、潜伏変数を活用する。
現状のMTS予測ベースラインに対して,TCVAEの強靭性と有効性を示す。
論文 参考訳（メタデータ） (2022-09-01T10:06:22Z) - Non-stationary Transformers: Exploring the Stationarity in Time Series
Forecasting [86.33543833145457]
本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。
我々のフレームワークは、メインストリームのトランスフォーマーを、大きなマージンで継続的に増加させ、トランスフォーマーで49.43%、インフォーマーで47.34%、改革派で46.89%削減します。
論文 参考訳（メタデータ） (2022-05-28T12:27:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。