論文の概要: MCformer: Multivariate Time Series Forecasting with Mixed-Channels Transformer
- arxiv url: http://arxiv.org/abs/2403.09223v1
- Date: Thu, 14 Mar 2024 09:43:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 21:07:03.497069
- Title: MCformer: Multivariate Time Series Forecasting with Mixed-Channels Transformer
- Title(参考訳): MCformer:Mixed-Channels Transformerを用いた多変量時系列予測
- Authors: Wenyong Han, Tao Zhu Member, Liming Chen, Huansheng Ning, Yang Luo, Yaping Wan,
- Abstract要約: Channel Independence(CI)戦略は、すべてのチャネルを単一のチャネルとして扱い、データセットを拡張する。
Mixed Channels戦略は、CI戦略のデータ拡張アドバンテージと、チャネル間の相関を忘れないように対処する機能を組み合わせたものだ。
モデルは特定の数のチャネルをブレンドし、チャネル間の相関情報を効果的に取得するための注意機構を活用する。
- 参考スコア(独自算出の注目度): 8.329947472853029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The massive generation of time-series data by largescale Internet of Things (IoT) devices necessitates the exploration of more effective models for multivariate time-series forecasting. In previous models, there was a predominant use of the Channel Dependence (CD) strategy (where each channel represents a univariate sequence). Current state-of-the-art (SOTA) models primarily rely on the Channel Independence (CI) strategy. The CI strategy treats all channels as a single channel, expanding the dataset to improve generalization performance and avoiding inter-channel correlation that disrupts long-term features. However, the CI strategy faces the challenge of interchannel correlation forgetting. To address this issue, we propose an innovative Mixed Channels strategy, combining the data expansion advantages of the CI strategy with the ability to counteract inter-channel correlation forgetting. Based on this strategy, we introduce MCformer, a multivariate time-series forecasting model with mixed channel features. The model blends a specific number of channels, leveraging an attention mechanism to effectively capture inter-channel correlation information when modeling long-term features. Experimental results demonstrate that the Mixed Channels strategy outperforms pure CI strategy in multivariate time-series forecasting tasks.
- Abstract(参考訳): 大規模モノのインターネット(IoT)デバイスによる膨大な時系列データの生成は、多変量時系列予測のためのより効率的なモデル探索を必要とする。
以前のモデルでは、Channel Dependence(CD)戦略(各チャネルは単変量列を表す)が主流であった。
現在のSOTAモデルは、主にチャンネルインデペンデンス(CI)戦略に依存している。
CI戦略は、すべてのチャネルを単一のチャネルとして扱い、データセットを拡張して一般化性能を改善し、長期的な特徴を損なうチャネル間の相関を回避する。
しかし、CI戦略はチャネル間の相関を忘れることの難しさに直面している。
この問題に対処するため、我々はCI戦略のデータ拡張の利点とチャネル間の相関を忘れないように対処する能力を組み合わせたMixed Channels戦略を提案する。
この戦略に基づいて,混合チャネル特徴を持つ多変量時系列予測モデルであるMCformerを導入する。
このモデルは特定の数のチャネルをブレンドし、長期的特徴をモデル化する際にチャネル間の相関情報を効果的にキャプチャするアテンション機構を活用する。
実験の結果,Mixed Channels戦略は多変量時系列予測タスクにおいて純粋なCI戦略よりも優れていた。
関連論文リスト
- Enhancing Multivariate Time Series Forecasting with Mutual
Information-driven Cross-Variable and Temporal Modeling [24.041263835195423]
チャネル混合手法のためのCDAM(Cross-var-Decorrelation Aware Feature Modeling)を提案する。
また,従来の一段階予測手法を超越した時間的相関を利用するための時間的相関認識モデリング(TAM)も導入した。
我々の新しいフレームワークは、包括的テストにおいて、これまで最先端と見なされていたものを含め、既存のモデルを大幅に上回っている。
論文 参考訳(メタデータ) (2024-03-01T04:42:47Z) - Revitalizing Multivariate Time Series Forecasting: Learnable
Decomposition with Inter-Series Dependencies and Intra-Series Variations
Modeling [15.015688190181065]
動的傾向情報をより合理的に捉えるための学習可能な分解戦略を導入する。
また、シリーズ間の依存関係とシリーズ間のバリエーションを同時にキャプチャする2つのアテンションモジュールを提案する。
論文 参考訳(メタデータ) (2024-02-20T03:45:59Z) - Dance of Channel and Sequence: An Efficient Attention-Based Approach for
Multivariate Time Series Forecasting [3.372816393214188]
CSformerは、2段階の自己保持機構を巧みに設計した革新的なフレームワークである。
シーケンスアダプタとチャネルアダプタを導入し、モデルが様々な次元にわたって有能な特徴を識別できるようにする。
論文 参考訳(メタデータ) (2023-12-11T09:10:38Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳(メタデータ) (2023-05-20T05:16:31Z) - The Capacity and Robustness Trade-off: Revisiting the Channel
Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。
以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。
本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
論文 参考訳(メタデータ) (2023-04-11T13:15:33Z) - MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal
and Channel Mixing [18.058617044421293]
本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。
MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。
いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-02-09T08:52:49Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳(メタデータ) (2021-10-26T17:35:21Z) - Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。
私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
論文 参考訳(メタデータ) (2021-01-19T03:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。