Fugu-MT 論文翻訳(概要): Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting

論文の概要: Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting

arxiv url: http://arxiv.org/abs/2404.14757v1
Date: Tue, 23 Apr 2024 05:43:44 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 15:10:30.541134
Title: Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting
Title（参考訳）: 長距離時系列予測のためのマンバと変圧器の統合
Authors: Xiongxiao Xu, Yueqing Liang, Baixiang Huang, Zhiling Lan, Kai Shu,
Abstract要約: 時系列予測は重要な問題であり、天気予報、株式市場、科学シミュレーションなど様々な応用において重要な役割を果たしている。状態空間モデル(SSM)の最近の進歩は、長距離依存のモデリングにおいて顕著な性能を示している。本稿では,長距離依存にMambaを,短距離依存にTransformerを内部的に組み合わせたハイブリッドフレームワークMambaformerを提案する。
参考スコア（独自算出の注目度）: 14.476978391383405
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Time series forecasting is an important problem and plays a key role in a variety of applications including weather forecasting, stock market, and scientific simulations. Although transformers have proven to be effective in capturing dependency, its quadratic complexity of attention mechanism prevents its further adoption in long-range time series forecasting, thus limiting them attend to short-range range. Recent progress on state space models (SSMs) have shown impressive performance on modeling long range dependency due to their subquadratic complexity. Mamba, as a representative SSM, enjoys linear time complexity and has achieved strong scalability on tasks that requires scaling to long sequences, such as language, audio, and genomics. In this paper, we propose to leverage a hybrid framework Mambaformer that internally combines Mamba for long-range dependency, and Transformer for short range dependency, for long-short range forecasting. To the best of our knowledge, this is the first paper to combine Mamba and Transformer architecture in time series data. We investigate possible hybrid architectures to combine Mamba layer and attention layer for long-short range time series forecasting. The comparative study shows that the Mambaformer family can outperform Mamba and Transformer in long-short range time series forecasting problem. The code is available at https://github.com/XiongxiaoXu/Mambaformerin-Time-Series.
Abstract（参考訳）: 時系列予測は重要な問題であり、天気予報、株式市場、科学シミュレーションなど様々な応用において重要な役割を果たしている。変換器は依存性を捉えるのに有効であることが証明されているが、注意機構の二次的な複雑さは、長距離時系列予測におけるさらなる採用を妨げ、短距離範囲への参加を制限する。状態空間モデル(SSM)の最近の進歩は、そのサブクワッドラティックな複雑さによる長距離依存性のモデリングにおいて顕著な性能を示している。 Mambaは、SSMの代表として、線形時間の複雑さを享受し、言語、オーディオ、ゲノミクスといった長いシーケンスへのスケーリングを必要とするタスクにおいて、強力なスケーラビリティを実現している。本稿では,長距離依存にMambaを内部的に組み合わせたハイブリッドフレームワークMambaformerと短距離依存にTransformerを,短距離予測に利用することを提案する。私たちの知る限りでは、この論文は、時系列データにMambaとTransformerアーキテクチャを組み合わせた最初の論文です。長距離時系列予測において,マンバ層とアテンション層を組み合わせたハイブリッドアーキテクチャを提案する。比較研究により、マンバフォーマーファミリーは長距離時系列予測問題においてマンバとトランスフォーマーを上回りうることが示された。コードはhttps://github.com/XiongxiaoXu/Mambaformerin-Time-Seriesで公開されている。

関連論文リスト

UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文参考訳（メタデータ） (2024-10-15T04:56:43Z)
Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文参考訳（メタデータ） (2024-10-14T13:01:11Z)
Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-07T07:27:39Z)
MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters [6.733646592789575]
時系列予測(LTSF)は、パターンや傾向を特定するために、大量の時系列データを分析することによって、長期的な価値を予測する。トランスフォーマーベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。資源制約のあるデバイスに特化して設計された超軽量時系列予測モデルであるMixLinearを提案する。
論文参考訳（メタデータ） (2024-10-02T23:04:57Z)
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
論文参考訳（メタデータ） (2024-09-13T04:23:54Z)
Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting [12.08746904573603]
選択状態空間モデル(SSM)に基づくMambaは、Transformerの競合相手として登場した。我々は4つの改善点を提案し、MambaTSに導いた。 8つの公開データセットで実施された実験は、MambaTSが新しい最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-05-26T05:50:17Z)
TimeMachine: A Time Series is Worth 4 Mambas for Long-term Forecasting [13.110156202816112]
TimeMachineは時系列データのユニークな特性を利用して、マルチスケールで適切なコンテキストキューを生成する。 TimeMachineは、ベンチマークデータセットを使用して広範囲に検証されるように、予測精度、スケーラビリティ、メモリ効率において優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-03-14T22:19:37Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文参考訳（メタデータ） (2022-10-02T06:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。