論文の概要: Dance of Channel and Sequence: An Efficient Attention-Based Approach for
Multivariate Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2312.06220v1
- Date: Mon, 11 Dec 2023 09:10:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 16:32:24.457162
- Title: Dance of Channel and Sequence: An Efficient Attention-Based Approach for
Multivariate Time Series Forecasting
- Title(参考訳): チャンネルとシーケンスの踊り:多変量時系列予測のための効率よい注意に基づくアプローチ
- Authors: Haoxin Wang, Yipeng Mo, Nan Yin, Honghe Dai, Bixiong Li, Songhai Fan,
Site Mo
- Abstract要約: CSformerは、2段階の自己保持機構を巧みに設計した革新的なフレームワークである。
シーケンスアダプタとチャネルアダプタを導入し、モデルが様々な次元にわたって有能な特徴を識別できるようにする。
- 参考スコア(独自算出の注目度): 3.372816393214188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent developments, predictive models for multivariate time series
analysis have exhibited commendable performance through the adoption of the
prevalent principle of channel independence. Nevertheless, it is imperative to
acknowledge the intricate interplay among channels, which fundamentally
influences the outcomes of multivariate predictions. Consequently, the notion
of channel independence, while offering utility to a certain extent, becomes
increasingly impractical, leading to information degradation. In response to
this pressing concern, we present CSformer, an innovative framework
characterized by a meticulously engineered two-stage self-attention mechanism.
This mechanism is purposefully designed to enable the segregated extraction of
sequence-specific and channel-specific information, while sharing parameters to
promote synergy and mutual reinforcement between sequences and channels.
Simultaneously, we introduce sequence adapters and channel adapters, ensuring
the model's ability to discern salient features across various dimensions.
Rigorous experimentation, spanning multiple real-world datasets, underscores
the robustness of our approach, consistently establishing its position at the
forefront of predictive performance across all datasets. This augmentation
substantially enhances the capacity for feature extraction inherent to
multivariate time series data, facilitating a more comprehensive exploitation
of the available information.
- Abstract(参考訳): 近年,多変量時系列解析の予測モデルは,チャネル独立の原理を取り入れて,賞賛できる性能を示した。
それにもかかわらず、多変量予測の結果に根本的な影響を及ぼすチャネル間の複雑な相互作用を認識することが不可欠である。
その結果、チャネル独立の概念は、有効性をある程度提供しながら、ますます非現実的になり、情報劣化につながる。
そこで,本研究では,2段階の自己着脱機構を細心の注意で設計した,革新的な枠組みであるcsformerを提案する。
このメカニズムは、シーケンス固有の情報とチャネル固有の情報を分離して抽出し、パラメータを共有して、シーケンスとチャネル間の相乗効果と相互強化を促進するように設計されている。
同時に、シーケンスアダプタとチャネルアダプタを導入し、モデルが様々な次元にまたがるサルエント特徴を識別する能力を保証する。
複数の実世界のデータセットにまたがる厳密な実験は、我々のアプローチの堅牢性を強調し、すべてのデータセットで予測パフォーマンスの最前線に一貫して位置を確立します。
この拡張により、多変量時系列データ固有の特徴抽出能力が大幅に向上し、利用可能な情報のより包括的な活用が容易になる。
関連論文リスト
- Revitalizing Multivariate Time Series Forecasting: Learnable
Decomposition with Inter-Series Dependencies and Intra-Series Variations
Modeling [15.015688190181065]
動的傾向情報をより合理的に捉えるための学習可能な分解戦略を導入する。
また、シリーズ間の依存関係とシリーズ間のバリエーションを同時にキャプチャする2つのアテンションモジュールを提案する。
論文 参考訳(メタデータ) (2024-02-20T03:45:59Z) - Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - The Capacity and Robustness Trade-off: Revisiting the Channel
Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。
以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。
本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
論文 参考訳(メタデータ) (2023-04-11T13:15:33Z) - MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal
and Channel Mixing [18.058617044421293]
本稿では,時系列予測の性能に対する注意機構の寄与と欠陥について検討する。
MTS-Mixersを提案する。これは2つの分解されたモジュールを用いて時間的およびチャネル的依存関係をキャプチャする。
いくつかの実世界のデータセットによる実験結果から、MTS-Mixersは既存のTransformerベースのモデルよりも高い効率で性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-02-09T08:52:49Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2023-01-08T12:20:46Z) - DRAformer: Differentially Reconstructed Attention Transformer for
Time-Series Forecasting [7.805077630467324]
時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。
最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。
しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
論文 参考訳(メタデータ) (2022-06-11T10:34:29Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳(メタデータ) (2021-10-26T17:35:21Z) - An empirical evaluation of attention-based multi-head models for
improved turbofan engine remaining useful life prediction [9.282239595143787]
シングルユニット(ヘッド)は、多変量時系列信号に基づいて訓練されたディープラーニングアーキテクチャにおける従来の入力特徴抽出器である。
この研究は、従来のシングルヘッド深層学習モデルを、コンテキスト固有のヘッドを開発することにより、より堅牢な形式に拡張する。
論文 参考訳(メタデータ) (2021-09-04T01:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。