論文の概要: Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2408.12068v2
- Date: Wed, 2 Oct 2024 18:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 05:49:00.837172
- Title: Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting
- Title（参考訳）: 長期連続予測のためのアンタングル依存符号化による簡易マンバ
- Authors: Zixuan Weng, Jindong Han, Wenzhao Jiang, Hao Liu,
- Abstract要約: 本稿では,予測精度の向上に不可欠な3つの重要な依存関係を特定し,正式に定義する。
本稿では,アンタングル化された依存性エンコーディングを備えた単純化されたMambaであるSAMBAを提案する。
9つの実世界のデータセットの実験は、最先端の予測モデルに対するSAMBAの有効性を示す。
- 参考スコア（独自算出の注目度）: 8.841699904757506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in deep learning have led to the development of numerous models for Long-term Time Series Forecasting (LTSF). However, most approaches still struggle to comprehensively capture reliable and informative dependencies inherent in time series data. In this paper, we identify and formally define three critical dependencies essential for improving forecasting accuracy: the order dependency and semantic dependency in the time dimension as well as cross-variate dependency in the variate dimension. Despite their significance, these dependencies are rarely considered holistically in existing models. Moreover, improper handling of these dependencies can introduce harmful noise that significantly impairs forecasting performance. To address these challenges, we explore the potential of Mamba for LTSF, highlighting its three key advantages to capture three dependencies, respectively. We further empirically observe that nonlinear activation functions used in vanilla Mamba are redundant for semantically sparse time series data. Therefore, we propose SAMBA, a Simplified Mamba with disentangled dependency encoding. Specifically, we first eliminate the nonlinearity of vanilla Mamba to make it more suitable for LTSF. Along this line, we propose a disentangled dependency encoding strategy to endow Mamba with efficient cross-variate dependency modeling capability while minimizing the interference between time and variate dimensions. We also provide rigorous theory as a justification for our design. Extensive experiments on nine real-world datasets demonstrate the effectiveness of SAMBA over state-of-the-art forecasting models.
- Abstract（参考訳）: 近年のディープラーニングの進歩は、長期時系列予測(LTSF)のための多くのモデルの開発につながっている。
しかし、ほとんどのアプローチは、時系列データに固有の信頼性と情報的依存関係を包括的に捉えることに苦慮している。
本稿では,予測精度の向上に不可欠な3つの重要な依存関係,すなわち時間次元における順序依存性と意味依存性,および変量次元における相互依存性を明確化し,正式に定義する。
それらの重要性にもかかわらず、これらの依存関係は既存のモデルで全体観的に見なされることは滅多にない。
さらに、これらの依存関係の不正なハンドリングは、予測性能を著しく損なう有害なノイズをもたらす可能性がある。
これらの課題に対処するため、LTSFのMambaの可能性を探り、それぞれ3つの依存関係をキャプチャする3つの重要な利点を強調した。
さらに、バニラ・マンバで使用される非線形活性化関数は、意味的にスパースな時系列データに対して冗長であることを示す。
そこで本研究では,不整合依存性符号化を持つ簡易マンバSAMBAを提案する。
具体的には、まずバニラ・マンバの非線形性を排除し、LTSFに適合させる。
そこで本稿では,時間と変動次元の干渉を最小限に抑えつつ,効率的な相互依存性モデリング機能を備えたアンタングル型依存性符号化手法を提案する。
デザインの正当化として厳密な理論も提供します。
9つの実世界のデータセットに対する大規模な実験は、最先端の予測モデルに対するSAMBAの有効性を示す。
関連論文リスト
- Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳（メタデータ） (2024-11-23T06:36:16Z) - Selecting Influential Samples for Long Context Alignment via Homologous Models' Guidance and Contextual Awareness Measurement [62.87020831987625]
本稿では,長距離依存関係に富む影響力のある,高品質なサンプルを識別する新しいフレームワークを提案する。
我々は、長距離依存を効果的にフレーム化するために、影響力のあるデータとして最も難しいサンプルを選択する。
実験により, GATEAUは長距離依存関係に富んだサンプルを効果的に同定し, これらのサンプルに基づいて訓練したモデルにより, より優れた指示追従と長文理解能力を示すことが示された。
論文 参考訳（メタデータ） (2024-10-21T04:30:53Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳（メタデータ） (2024-10-15T04:56:43Z) - Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need [28.301119776877822]
時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。
変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。
Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。
論文 参考訳（メタデータ） (2024-08-28T17:59:27Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳（メタデータ） (2024-06-20T17:40:18Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
論文 参考訳（メタデータ） (2024-06-08T10:12:00Z) - CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting [18.50360049235537]
ステートスペースモデルであるMambaは、堅牢なシーケンスと機能ミキシング機能を備えている。
チャネル間の依存関係のキャプチャは、時系列予測のパフォーマンス向上に不可欠である。
時系列予測に適した改良されたマンバ変種を導入する。
論文 参考訳（メタデータ） (2024-06-08T01:32:44Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳（メタデータ） (2024-04-24T09:45:48Z) - Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。
具体的には,各変数の時間点を線形層を介して自律的にトークン化する。
13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
論文 参考訳（メタデータ） (2024-03-17T08:50:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。