論文の概要: Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2408.12068v2
- Date: Wed, 02 Oct 2024 18:27:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-05 03:34:04.163079
- Title: Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting
- Title(参考訳): 長期連続予測のためのアンタングル依存符号化による簡易マンバ
- Authors: Zixuan Weng, Jindong Han, Wenzhao Jiang, Hao Liu,
- Abstract要約: 本稿では,予測精度の向上に不可欠な3つの重要な依存関係を特定し,正式に定義する。
本稿では,アンタングル化された依存性エンコーディングを備えた単純化されたMambaであるSAMBAを提案する。
9つの実世界のデータセットの実験は、最先端の予測モデルに対するSAMBAの有効性を示す。
- 参考スコア(独自算出の注目度): 8.841699904757506
- License:
- Abstract: Recent advances in deep learning have led to the development of numerous models for Long-term Time Series Forecasting (LTSF). However, most approaches still struggle to comprehensively capture reliable and informative dependencies inherent in time series data. In this paper, we identify and formally define three critical dependencies essential for improving forecasting accuracy: the order dependency and semantic dependency in the time dimension as well as cross-variate dependency in the variate dimension. Despite their significance, these dependencies are rarely considered holistically in existing models. Moreover, improper handling of these dependencies can introduce harmful noise that significantly impairs forecasting performance. To address these challenges, we explore the potential of Mamba for LTSF, highlighting its three key advantages to capture three dependencies, respectively. We further empirically observe that nonlinear activation functions used in vanilla Mamba are redundant for semantically sparse time series data. Therefore, we propose SAMBA, a Simplified Mamba with disentangled dependency encoding. Specifically, we first eliminate the nonlinearity of vanilla Mamba to make it more suitable for LTSF. Along this line, we propose a disentangled dependency encoding strategy to endow Mamba with efficient cross-variate dependency modeling capability while minimizing the interference between time and variate dimensions. We also provide rigorous theory as a justification for our design. Extensive experiments on nine real-world datasets demonstrate the effectiveness of SAMBA over state-of-the-art forecasting models.
- Abstract(参考訳): 近年のディープラーニングの進歩は、長期時系列予測(LTSF)のための多くのモデルの開発につながっている。
しかし、ほとんどのアプローチは、時系列データに固有の信頼性と情報的依存関係を包括的に捉えることに苦慮している。
本稿では,予測精度の向上に不可欠な3つの重要な依存関係,すなわち時間次元における順序依存性と意味依存性,および変量次元における相互依存性を明確化し,正式に定義する。
それらの重要性にもかかわらず、これらの依存関係は既存のモデルで全体観的に見なされることは滅多にない。
さらに、これらの依存関係の不正なハンドリングは、予測性能を著しく損なう有害なノイズをもたらす可能性がある。
これらの課題に対処するため、LTSFのMambaの可能性を探り、それぞれ3つの依存関係をキャプチャする3つの重要な利点を強調した。
さらに、バニラ・マンバで使用される非線形活性化関数は、意味的にスパースな時系列データに対して冗長であることを示す。
そこで本研究では,不整合依存性符号化を持つ簡易マンバSAMBAを提案する。
具体的には、まずバニラ・マンバの非線形性を排除し、LTSFに適合させる。
そこで本稿では,時間と変動次元の干渉を最小限に抑えつつ,効率的な相互依存性モデリング機能を備えたアンタングル型依存性符号化手法を提案する。
デザインの正当化として厳密な理論も提供します。
9つの実世界のデータセットに対する大規模な実験は、最先端の予測モデルに対するSAMBAの有効性を示す。
関連論文リスト
- FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting [6.152779144421304]
多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。
技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。
多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。
最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
論文 参考訳(メタデータ) (2024-07-20T09:14:05Z) - Mamba-PTQ: Outlier Channels in Recurrent Large Language Models [49.1574468325115]
本研究では,マンバモデルが注目型LLMで観測された異常チャネルと同じパターンを示すことを示す。
本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。
論文 参考訳(メタデータ) (2024-07-17T08:21:06Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳(メタデータ) (2024-06-20T17:40:18Z) - DeformTime: Capturing Variable Dependencies with Deformable Attention for Time Series Forecasting [0.34530027457862006]
入力空間から相関時間パターンを捕捉しようとするニューラルネットワークアーキテクチャであるDeformTimeを提案する。
これまでに確立されたベンチマークを用いて,6つのMTSデータセットに関する広範な実験を行った。
その結果,DeformTimeはMSS予測タスクの大部分にわたる従来の競合手法と比較して精度が向上することがわかった。
論文 参考訳(メタデータ) (2024-06-11T16:45:48Z) - MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
マンバモデルは線形時間で長い列の効率的な処理を可能にする。
これらのモデルは、言語モデリングのような広範囲のアプリケーションで急速に採用されている。
現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
我々は、より安定かつ信頼性の高い関連伝播を保証するLRPフレームワーク内での新しいアルゴリズムであるMambaLRPを提案する。
論文 参考訳(メタデータ) (2024-06-11T12:15:47Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
論文 参考訳(メタデータ) (2024-06-08T10:12:00Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳(メタデータ) (2024-04-24T09:45:48Z) - Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。
具体的には,各変数の時間点を線形層を介して自律的にトークン化する。
13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
論文 参考訳(メタデータ) (2024-03-17T08:50:44Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。