論文の概要: Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2408.12068v1
- Date: Thu, 22 Aug 2024 02:14:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 15:33:26.017727
- Title: Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting
- Title（参考訳）: 長期連続予測のためのアンタングル依存符号化による簡易マンバ
- Authors: Zixuan Weng, Jindong Han, Wenzhao Jiang, Hao Liu,
- Abstract要約: 長期時系列予測(LTSF)におけるマンバの可能性について検討する。
i)選択メカニズムによって、Mambaは特定の入力に注目したり無視したりし、セマンティック依存を簡単に学習する。
さらに,不整合依存性符号化を用いた単純化されたMambaであるSAMBAを提案する。
- 参考スコア（独自算出の注目度）: 8.841699904757506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently many deep learning models have been proposed for Long-term Time Series Forecasting (LTSF). Based on previous literature, we identify three critical patterns that can improve forecasting accuracy: the order and semantic dependencies in time dimension as well as cross-variate dependency. However, little effort has been made to simultaneously consider order and semantic dependencies when developing forecasting models. Moreover, existing approaches utilize cross-variate dependency by mixing information from different timestamps and variates, which may introduce irrelevant or harmful cross-variate information to the time dimension and largely hinder forecasting performance. To overcome these limitations, we investigate the potential of Mamba for LTSF and discover two key advantages benefiting forecasting: (i) the selection mechanism makes Mamba focus on or ignore specific inputs and learn semantic dependency easily, and (ii) Mamba preserves order dependency by processing sequences recursively. After that, we empirically find that the non-linear activation used in Mamba is unnecessary for semantically sparse time series data. Therefore, we further propose SAMBA, a Simplified Mamba with disentangled dependency encoding. Specifically, we first remove the non-linearities of Mamba to make it more suitable for LTSF. Furthermore, we propose a disentangled dependency encoding strategy to endow Mamba with cross-variate dependency modeling capabilities while reducing the interference between time and variate dimensions. Extensive experimental results on seven real-world datasets demonstrate the effectiveness of SAMBA over state-of-the-art forecasting models.
- Abstract（参考訳）: 近年,長期時系列予測(LTSF)のためのディープラーニングモデルが多数提案されている。
従来の文献から,時間次元の順序と意味的依存関係と相互依存性という,予測精度を向上させる3つの重要なパターンを同定した。
しかし、予測モデルを開発する際に、順序と意味的依存関係を同時に考慮する努力はほとんど行われていない。
さらに, 従来の手法では, 異なるタイムスタンプや変数からの情報を混合することで, 時間次元に無関係あるいは有害な異種情報を導入し, 予測性能を著しく損なう可能性がある。
これらの制限を克服するため、LTSF における Mamba の可能性を調査し、予測に有利な2つの重要な利点を発見する。
(i)選択メカニズムにより、Mambaは特定の入力にフォーカスしたり無視したりし、セマンティック依存を簡単に学習することができる。
(ii)Mambaは配列を再帰的に処理することで順序依存を保存する。
その後、マンバで使用される非線形アクティベーションが意味的にスパースな時系列データには不要であることが実証的に判明した。
そこで本研究では,不整合依存性符号化を持つ簡易マンバSAMBAを提案する。
具体的には,まずMambaの非線形性を取り除き,LTSFに適合させる。
さらに,時間と変動次元の干渉を低減しつつ,多変量依存性モデリング機能を備えたMambaを実現するために,アンタングル型依存性符号化方式を提案する。
7つの実世界のデータセットに対する大規模な実験結果は、最先端の予測モデルに対するSAMBAの有効性を示す。
関連論文リスト
- Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳（メタデータ） (2024-11-23T06:36:16Z) - Selecting Influential Samples for Long Context Alignment via Homologous Models' Guidance and Contextual Awareness Measurement [62.87020831987625]
本稿では,長距離依存関係に富む影響力のある,高品質なサンプルを識別する新しいフレームワークを提案する。
我々は、長距離依存を効果的にフレーム化するために、影響力のあるデータとして最も難しいサンプルを選択する。
実験により, GATEAUは長距離依存関係に富んだサンプルを効果的に同定し, これらのサンプルに基づいて訓練したモデルにより, より優れた指示追従と長文理解能力を示すことが示された。
論文 参考訳（メタデータ） (2024-10-21T04:30:53Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳（メタデータ） (2024-10-15T04:56:43Z) - Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need [28.301119776877822]
時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。
変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。
Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。
論文 参考訳（メタデータ） (2024-08-28T17:59:27Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳（メタデータ） (2024-06-20T17:40:18Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
論文 参考訳（メタデータ） (2024-06-08T10:12:00Z) - CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting [18.50360049235537]
ステートスペースモデルであるMambaは、堅牢なシーケンスと機能ミキシング機能を備えている。
チャネル間の依存関係のキャプチャは、時系列予測のパフォーマンス向上に不可欠である。
時系列予測に適した改良されたマンバ変種を導入する。
論文 参考訳（メタデータ） (2024-06-08T01:32:44Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳（メタデータ） (2024-04-24T09:45:48Z) - Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。
具体的には,各変数の時間点を線形層を介して自律的にトークン化する。
13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
論文 参考訳（メタデータ） (2024-03-17T08:50:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。