論文の概要: Bi-Mamba4TS: Bidirectional Mamba for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2404.15772v1
- Date: Wed, 24 Apr 2024 09:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:30:27.606501
- Title: Bi-Mamba4TS: Bidirectional Mamba for Time Series Forecasting
- Title(参考訳): Bi-Mamba4TS:時系列予測のための双方向マンバ
- Authors: Aobo Liang, Xingguo Jiang, Yan Sun, Chang Lu,
- Abstract要約: 時系列予測のための双方向マンバであるBi-Mamba4TSを提案する。
我々のモデルは最先端の手法と比較して精度の高い予測を統一する。
- 参考スコア(独自算出の注目度): 4.43437150145582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) provides longer insights into future trends and patterns. In recent years, deep learning models especially Transformers have achieved advanced performance in LTSF tasks. However, the quadratic complexity of Transformers rises the challenge of balancing computaional efficiency and predicting performance. Recently, a new state space model (SSM) named Mamba is proposed. With the selective capability on input data and the hardware-aware parallel computing algorithm, Mamba can well capture long-term dependencies while maintaining linear computational complexity. Mamba has shown great ability for long sequence modeling and is a potential competitor to Transformer-based models in LTSF. In this paper, we propose Bi-Mamba4TS, a bidirectional Mamba for time series forecasting. To address the sparsity of time series semantics, we adopt the patching technique to enrich the local information while capturing the evolutionary patterns of time series in a finer granularity. To select more appropriate modeling method based on the characteristics of the dataset, our model unifies the channel-independent and channel-mixing tokenization strategies and uses a series-relation-aware decider to control the strategy choosing process. Extensive experiments on seven real-world datasets show that our model achieves more accurate predictions compared with state-of-the-art methods.
- Abstract(参考訳): 長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年、ディープラーニングモデル、特にトランスフォーマーはLTSFタスクで高度なパフォーマンスを実現している。
しかし、トランスフォーマーの二次複雑性は、計算効率のバランスと性能の予測という課題を提起する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは線形計算複雑性を維持しながら、長期的依存をうまく捉えることができる。
Mamba は長いシーケンスモデリングに優れた能力を示しており、LTSF の Transformer ベースのモデルと競合する可能性がある。
本稿では,時系列予測のための双方向マンバであるBi-Mamba4TSを提案する。
時系列セマンティクスの空間性に対処するため、我々は、より微細な粒度で時系列の進化パターンを捉えながら、局所的な情報を強化するパッチ手法を採用した。
データセットの特性に基づいてより適切なモデリング手法を選択するため,本モデルでは,チャネル独立・チャネル混合トークン化戦略を統一し,系列関係対応決定器を用いて戦略選択プロセスを制御する。
7つの実世界のデータセットに対する大規模な実験により、我々のモデルは最先端の手法と比較してより正確な予測を達成できることを示した。
関連論文リスト
- The Hidden Attention of Mamba Models [54.50526986788175]
Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。
このようなモデルを注意駆動モデルとみなすことができる。
この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
論文 参考訳(メタデータ) (2024-03-03T18:58:21Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for
Long-term Traffic Prediction [1.8531577178922987]
本稿では,ハイブリッドトランスフォーマーと自己教師型学習を組み合わせたモデルを提案する。
このモデルは、トラフィックのシーケンスレベルにデータ拡張技術を適用することにより、適応的なデータ拡張を強化する。
本研究では,時間的および空間的依存をモデル化する2つの自己教師型学習タスクを設計し,モデルの精度と能力を向上させる。
論文 参考訳(メタデータ) (2024-01-29T06:17:23Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Mamba: Linear-Time Sequence Modeling with Selective State Spaces [37.786327629797654]
ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。
このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。
我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。
一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T18:01:34Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Large Scale Time-Series Representation Learning via Simultaneous Low and
High Frequency Feature Bootstrapping [7.0064929761691745]
本稿では,非コントラスト型自己教師型学習手法を提案する。
提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。
モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
論文 参考訳(メタデータ) (2022-04-24T14:39:47Z) - Pattern-based Long Short-term Memory for Mid-term Electrical Load
Forecasting [0.0]
本研究は,1年間の地平線で月次電力需要時系列を予測するためのネットワークを提示する。
この研究の新規性は、分解の代替として季節時系列のパターン表現を使用することである。
欧州35か国における月次電力需要時系列のシミュレーション研究により,提案モデルの高性能性が確認された。
論文 参考訳(メタデータ) (2020-04-22T08:39:32Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。