論文の概要: Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics
- arxiv url: http://arxiv.org/abs/2409.08530v1
- Date: Fri, 13 Sep 2024 04:23:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 17:48:25.279788
- Title: Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics
- Title（参考訳）: Mamba と Transformer の統合 -- 短距離時系列予測のための MAT と気象力学への応用
- Authors: Wenqing Zhang, Junming Huang, Ruotong Wang, Changsong Wei, Wenqian Huang, Yuxin Qiao,
- Abstract要約: 長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。
Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。
本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
- 参考スコア（独自算出の注目度）: 7.745945701278489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-short range time series forecasting is essential for predicting future trends and patterns over extended periods. While deep learning models such as Transformers have made significant strides in advancing time series forecasting, they often encounter difficulties in capturing long-term dependencies and effectively managing sparse semantic features. The state-space model, Mamba, addresses these issues through its adept handling of selective input and parallel computing, striking a balance between computational efficiency and prediction accuracy. This article examines the advantages and disadvantages of both Mamba and Transformer models, and introduces a combined approach, MAT, which leverages the strengths of each model to capture unique long-short range dependencies and inherent evolutionary patterns in multivariate time series. Specifically, MAT harnesses the long-range dependency capabilities of Mamba and the short-range characteristics of Transformers. Experimental results on benchmark weather datasets demonstrate that MAT outperforms existing comparable methods in terms of prediction accuracy, scalability, and memory efficiency.
- Abstract（参考訳）: 長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。
Transformersのようなディープラーニングモデルは、時系列予測を前進させる上で大きな進歩を遂げているが、長期的な依存関係をキャプチャし、スパースセマンティックな特徴を効果的に管理する上で、しばしば困難に直面している。
状態空間モデルであるMambaは、選択的な入力と並列計算を扱うことでこれらの問題に対処し、計算効率と予測精度のバランスを崩した。
本稿では,マンバモデルとトランスフォーマーモデルの両方の利点とデメリットを考察し,各モデルの長短距離依存性と多変量時系列における固有の進化パターンを捉えるために,各モデルの強みを生かした統合的アプローチであるMATを紹介する。
具体的には、MATは、Mambaの長距離依存性機能とTransformerの短距離特性を利用する。
MATは、予測精度、スケーラビリティ、メモリ効率において、既存の同等の手法よりも優れていることを示す。
関連論文リスト
- UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳（メタデータ） (2024-10-15T04:56:43Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - Test Time Learning for Time Series Forecasting [1.4605709124065924]
テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。
その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。
この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
論文 参考訳（メタデータ） (2024-09-21T04:40:08Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳（メタデータ） (2024-04-24T09:45:48Z) - Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach [1.4228349888743608]
本稿では、パッチ埋め込みとエンコーダデコーダトランスフォーマーベースのアーキテクチャを統合する新しいモデルであるPatchformerを紹介する。
Patchformerは、モデル性能と過去のシーケンスの長さの正の相関に従う唯一のモデルとして説明される。
論文 参考訳（メタデータ） (2024-04-16T10:56:33Z) - TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting [13.110156202816112]
TimeMachineは時系列データのユニークな特性を利用して、マルチスケールで適切なコンテキストキューを生成する。
TimeMachineは、ベンチマークデータセットを使用して広範囲に検証されるように、予測精度、スケーラビリティ、メモリ効率において優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-14T22:19:37Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳（メタデータ） (2023-12-04T07:39:05Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳（メタデータ） (2022-10-02T06:58:49Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。