Fugu-MT 論文翻訳(概要): Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need

論文の概要: Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need

arxiv url: http://arxiv.org/abs/2408.15997v1
Date: Wed, 28 Aug 2024 17:59:27 GMT
ステータス: 処理完了
システム内更新日: 2024-08-29 14:59:16.325638
Title: Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need
Title（参考訳）: 時系列予測のためのMambaかTransformerか?Mixture of Universals(MoU)
Authors: Sijia Peng, Yun Xiong, Yangyong Zhu, Zhiqiang Shen,
Abstract要約: 時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。 Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。
参考スコア（独自算出の注目度）: 28.301119776877822
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Time series forecasting requires balancing short-term and long-term dependencies for accurate predictions. Existing methods mainly focus on long-term dependency modeling, neglecting the complexities of short-term dynamics, which may hinder performance. Transformers are superior in modeling long-term dependencies but are criticized for their quadratic computational cost. Mamba provides a near-linear alternative but is reported less effective in time series longterm forecasting due to potential information loss. Current architectures fall short in offering both high efficiency and strong performance for long-term dependency modeling. To address these challenges, we introduce Mixture of Universals (MoU), a versatile model to capture both short-term and long-term dependencies for enhancing performance in time series forecasting. MoU is composed of two novel designs: Mixture of Feature Extractors (MoF), an adaptive method designed to improve time series patch representations for short-term dependency, and Mixture of Architectures (MoA), which hierarchically integrates Mamba, FeedForward, Convolution, and Self-Attention architectures in a specialized order to model long-term dependency from a hybrid perspective. The proposed approach achieves state-of-the-art performance while maintaining relatively low computational costs. Extensive experiments on seven real-world datasets demonstrate the superiority of MoU. Code is available at https://github.com/lunaaa95/mou/.
Abstract（参考訳）: 時系列予測には、正確な予測のために短期と長期の依存関係のバランスが必要である。既存の手法は主に長期依存モデリングに重点を置いており、短期力学の複雑さを無視しており、性能を損なう可能性がある。変換器は長期依存のモデリングに優れているが、2次計算コストで批判されている。 Mambaは、ほぼ直線的な代替手段を提供するが、潜在的な情報損失のため、時系列の長期予測では効果が低いと報告されている。現在のアーキテクチャは、長期的な依存性モデリングのための高効率と高パフォーマンスの両方を提供するのに不足しています。これらの課題に対処するために、時系列予測における性能向上のための短期的および長期的依存関係の両方を捉える汎用モデルであるMixture of Universals(MoU)を導入する。 MoUは、短期依存に対する時系列パッチ表現を改善するために設計された適応的手法であるMixture of Feature Extractors (MoF)と、Mamba、FeedForward、Convolution、Self-Attentionアーキテクチャを階層的に統合したMixture of Architectures (MoA)の2つの新しい設計で構成されている。提案手法は比較的低い計算コストを維持しながら最先端の性能を実現する。 7つの実世界のデータセットに対する大規模な実験は、MoUの優位性を示している。コードはhttps://github.com/lunaaa95/mou/で入手できる。

関連論文リスト

UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文参考訳（メタデータ） (2024-10-15T04:56:43Z)
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
論文参考訳（メタデータ） (2024-09-13T04:23:54Z)
Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
論文参考訳（メタデータ） (2024-08-15T02:29:00Z)
CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting [18.50360049235537]
ステートスペースモデルであるMambaは、堅牢なシーケンスと機能ミキシング機能を備えている。チャネル間の依存関係のキャプチャは、時系列予測のパフォーマンス向上に不可欠である。時系列予測に適した改良されたマンバ変種を導入する。
論文参考訳（メタデータ） (2024-06-08T01:32:44Z)
UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文参考訳（メタデータ） (2024-06-07T14:39:28Z)
Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
論文参考訳（メタデータ） (2024-06-06T05:27:33Z)
LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
自己保持機構の計算コストは、長いシーケンスの実用性を制限する。我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
論文参考訳（メタデータ） (2024-04-17T08:26:34Z)
MambaMixer: Efficient Selective State Space Models with Dual Token and Channel Selection [5.37935922811333]
MambaMixerは、トークンとチャネル間の二重選択機構を使用する、データ依存の重みを持つ新しいアーキテクチャである。概念実証として,Vision MambaMixer (ViM2) とTime Series MambaMixer (TSM2) を設計した。
論文参考訳（メタデータ） (2024-03-29T00:05:13Z)
Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting [68.86835407617778]
Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
論文参考訳（メタデータ） (2021-06-24T13:43:43Z)
Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。