論文の概要: C-Mamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2406.05316v2
- Date: Sun, 18 Aug 2024 19:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 02:28:42.170851
- Title: C-Mamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting
- Title（参考訳）: C-Mamba:多変量時系列予測のためのチャネル相関強化状態空間モデル
- Authors: Chaolv Zeng, Zhanyu Liu, Guanjie Zheng, Linghe Kong,
- Abstract要約: 我々は,グローバルな受容場を失うことなく,線形な複雑性を維持しつつ,チャネル間の依存関係を捕捉する新しいアプローチである textbfC-Mamba を提案する。
本モデルは、7つの実世界の時系列データセット上での最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 18.50360049235537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, significant progress has been made in multivariate time series forecasting using Linear-based, Transformer-based, and Convolution-based models. However, these approaches face notable limitations: linear forecasters struggle with representation capacities, attention mechanisms suffer from quadratic complexity, and convolutional models have a restricted receptive field. These constraints impede their effectiveness in modeling complex time series, particularly those with numerous variables. Additionally, many models adopt the Channel-Independent (CI) strategy, treating multivariate time series as uncorrelated univariate series while ignoring their correlations. For models considering inter-channel relationships, whether through the self-attention mechanism, linear combination, or convolution, they all incur high computational costs and focus solely on weighted summation relationships, neglecting potential proportional relationships between channels. In this work, we address these issues by leveraging the newly introduced state space model and propose \textbf{C-Mamba}, a novel approach that captures cross-channel dependencies while maintaining linear complexity without losing the global receptive field. Our model consists of two key components: (i) channel mixup, where two channels are mixed to enhance the training sets; (ii) channel attention enhanced patch-wise Mamba encoder that leverages the ability of the state space models to capture cross-time dependencies and models correlations between channels by mining their weight relationships. Our model achieves state-of-the-art performance on seven real-world time series datasets. Moreover, the proposed mixup and attention strategy exhibits strong generalizability across other frameworks.
- Abstract（参考訳）: 近年,線形ベース,トランスフォーマーベース,コンボリューションベースモデルを用いた時系列の多変量予測が大幅に進歩している。
線形予測器は表現能力に悩まされ、注意機構は二次的な複雑さに悩まされ、畳み込みモデルは受容力に制限がある。
これらの制約は、複雑な時系列、特に多くの変数を持つ時系列のモデリングにおいて、それらの効果を妨げた。
さらに、多くのモデルはChannel-Independent(CI)戦略を採用し、多変量時系列を相関を無視しながら非相関な単変量系列として扱う。
チャネル間の関係を考慮したモデルでは、自己アテンション機構、線形結合、あるいは畳み込みによって、いずれも高い計算コストを発生させ、チャネル間の潜在的な比例関係を無視して重み付けされた和関係にのみ焦点をあてる。
本研究では,新たに導入された状態空間モデルを活用してこれらの問題に対処し,グローバルな受容場を失うことなく線形複雑性を維持しながらチャネル間の依存関係を捉える新しいアプローチである「textbf{C-Mamba}」を提案する。
私たちのモデルは2つの重要なコンポーネントで構成されています。
(i)訓練セットを強化するため、2つのチャンネルを混合するチャンネル混成
(II) チャネルアテンションにより, チャネル間の相互依存を捉える状態空間モデルと, 重み関係をマイニングすることでチャネル間の相関をモデル化するパッチワイド・マンバエンコーダが強化された。
本モデルは、7つの実世界の時系列データセット上での最先端のパフォーマンスを実現する。
さらに、提案したミックスアップとアテンション戦略は、他のフレームワーク間で強力な一般化性を示している。
関連論文リスト
- A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。
このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。
また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-11-05T09:34:05Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳（メタデータ） (2024-10-15T04:56:43Z) - Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need [28.301119776877822]
時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。
変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。
Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。
論文 参考訳（メタデータ） (2024-08-28T17:59:27Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - Mamba-PTQ: Outlier Channels in Recurrent Large Language Models [49.1574468325115]
本研究では,マンバモデルが注目型LLMで観測された異常チャネルと同じパターンを示すことを示す。
本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。
論文 参考訳（メタデータ） (2024-07-17T08:21:06Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting [0.0]
近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。
これらのモデルの有効性は、配列の局所性を向上する採用されたパッチ機構に大きく寄与する。
さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
論文 参考訳（メタデータ） (2024-05-22T12:12:20Z) - SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。
いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。
本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
論文 参考訳（メタデータ） (2024-04-22T14:06:35Z) - MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal
and Channel Mixing [18.058617044421293]
本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。
MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。
いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-02-09T08:52:49Z) - On Continual Model Refinement in Out-of-Distribution Data Streams [64.62569873799096]
現実世界の自然言語処理(NLP)モデルは、アウト・オブ・ディストリビューション(OOD)データストリームの予測エラーを修正するために、継続的に更新する必要がある。
既存の継続学習(CL)問題設定は、そのような現実的で複雑なシナリオをカバーできない。
連続モデル改良(CMR)と呼ばれる新しいCL問題定式化を提案する。
論文 参考訳（メタデータ） (2022-05-04T11:54:44Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。