論文の概要: Scalable Transformer for High Dimensional Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2408.04245v1
• Date: Thu, 8 Aug 2024 06:17:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:29:12.432994
• Title: Scalable Transformer for High Dimensional Multivariate Time Series Forecasting
• Title（参考訳）: 高次元多変量時系列予測のためのスケーラブルトランス
• Authors: Xin Zhou, Weiqing Wang, Wray Buntine, Shilin Qu, Abishek Sriramulu, Weicong Tan, Christoph Bergmeir,
• Abstract要約: 本研究では,高次元MSSデータ上でのチャネル依存モデルの最適性能の背景について検討する。 本稿では,高次元時系列予測のためのスケーラブル変換器STHDを提案する。 実験により、STHDは3つの高次元データセット(クリミア・シカゴ、ウィキ・ピープル、トラヒック)をかなり改善した。
• 参考スコア（独自算出の注目度）: 10.17270031004674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep models for Multivariate Time Series (MTS) forecasting have recently demonstrated significant success. Channel-dependent models capture complex dependencies that channel-independent models cannot capture. However, the number of channels in real-world applications outpaces the capabilities of existing channel-dependent models, and contrary to common expectations, some models underperform the channel-independent models in handling high-dimensional data, which raises questions about the performance of channel-dependent models. To address this, our study first investigates the reasons behind the suboptimal performance of these channel-dependent models on high-dimensional MTS data. Our analysis reveals that two primary issues lie in the introduced noise from unrelated series that increases the difficulty of capturing the crucial inter-channel dependencies, and challenges in training strategies due to high-dimensional data. To address these issues, we propose STHD, the Scalable Transformer for High-Dimensional Multivariate Time Series Forecasting. STHD has three components: a) Relation Matrix Sparsity that limits the noise introduced and alleviates the memory issue; b) ReIndex applied as a training strategy to enable a more flexible batch size setting and increase the diversity of training data; and c) Transformer that handles 2-D inputs and captures channel dependencies. These components jointly enable STHD to manage the high-dimensional MTS while maintaining computational feasibility. Furthermore, experimental results show STHD's considerable improvement on three high-dimensional datasets: Crime-Chicago, Wiki-People, and Traffic. The source code and dataset are publicly available https://github.com/xinzzzhou/ScalableTransformer4HighDimensionMTSF.git.
• Abstract（参考訳）: 多変量時系列(MTS)予測のためのディープモデルは、最近大きな成功を収めた。 チャネル依存モデルは、チャネル依存モデルはキャプチャできない複雑な依存関係をキャプチャする。 しかし、実世界のアプリケーションにおけるチャネルの数は、既存のチャネル依存モデルの性能を上回るものであり、共通の期待に反して、いくつかのモデルは高次元データを扱う際にチャネル依存モデルより優れており、チャネル依存モデルの性能に関する疑問が提起される。 そこで本研究では,これらのチャネル依存モデルが高次元MSSデータに対して最適性能を示す理由について検討した。 分析の結果,重要チャネル間の依存関係を捉えることの難しさと,高次元データによるトレーニング戦略の課題の2つが,非関連系列からのノイズの導入にあることが明らかとなった。 これらの問題に対処するため,高次元多変量時系列予測のためのスケーラブル変換器STHDを提案する。 STHDには3つのコンポーネントがある。 a) 導入されたノイズを制限し,メモリ問題を緩和する関係マトリックスの疎結合 ロ より柔軟なバッチサイズの設定を可能にし、訓練データの多様性を高めるための訓練戦略としてReIndexを適用すること。 c) 2次元入力を処理し、チャネル依存性をキャプチャするトランスフォーマー。 これらのコンポーネントにより、STHDは計算可能性を維持しながら高次元のTSを管理することができる。 さらに,STHDによる3つの高次元データセット(クリミア・シカゴ,ウィキ・ピープル,トラヒック)の大幅な改善が示されている。 ソースコードとデータセットはhttps://github.com/xinzzzhou/ScalableTransformer4HighDimensionMTSF.gitで公開されている。

関連論文リスト

• Partial Channel Dependence with Channel Masks for Time Series Foundation Models [5.752266579415516]
  そこで我々は,部分チャネル依存(PCD)の概念を導入し,データセット固有の情報に基づいて,より洗練されたチャネル依存の調整を可能にする。 我々は,予測,分類,計算,異常検出を含む4つのタスクにおけるPCDの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-30T17:12:03Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting [0.0]
  近年, Transformer アーキテクチャを改良し, 長期時系列予測(LTSF)タスクの有効性を実証する研究が進められている。 これらのモデルの有効性は、配列の局所性を向上する採用されたパッチ機構に大きく寄与する。 さらに、Patch機構で強化された単純な線形層は、複雑なTransformerベースのLTSFモデルより優れている可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-05-22T12:12:20Z)
• Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting [12.793705636683402]
  MTS内の非定常性と固有特性を考慮した強力な階層的確率的生成モジュールを開発した。 次に、階層時間系列変分変換器(HTV-Trans)という、明確に定義された変動生成動的モデルに対する変換器と組み合わせる。 HTV-Transは強力な確率モデルであり、MTSの表現表現を学習し、予測タスクに適用する。
  論文  参考訳（メタデータ） (2024-03-08T16:04:36Z)
• F3-Pruning: A Training-Free and Generalized Pruning Strategy towards Faster and Finer Text-to-Video Synthesis [94.10861578387443]
  変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。 本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。 古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
  論文  参考訳（メタデータ） (2023-12-06T12:34:47Z)
• Cross-modal Prompts: Adapting Large Pre-trained Models for Audio-Visual Downstream Tasks [55.36987468073152]
  本稿では,DG-SCT(Dual-Guided Space-Channel-Temporal)アテンション機構を提案する。 DG-SCTモジュールはトレーニング可能なクロスモーダル・インタラクション・レイヤを事前トレーニングされたオーディオ・ビジュアル・エンコーダに組み込む。 提案手法は, AVE, AVVP, AVS, AVQA, AVQAを含む複数のダウンストリームタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2023-11-09T05:24:20Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datasets [91.25055890980084]
  小さなデータセットでスクラッチからトレーニングする場合、ビジョントランスフォーマー(ViT)と畳み込みニューラルネットワーク(CNN)の間には、依然として極端なパフォーマンスギャップがある。 本稿では2つの帰納バイアスを緩和する解として動的ハイブリッドビジョン変換器(DHVT)を提案する。 我々のDHVTは、CIFAR-100が85.68%、22.8Mパラメータが82.3%、ImageNet-1Kが24.0Mパラメータが82.3%の軽量モデルで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-12T06:54:39Z)
• DBT-DMAE: An Effective Multivariate Time Series Pre-Train Model under Missing Data [16.589715330897906]
  MTSはデータ不足に悩まされ、下流のタスクが劣化または崩壊する。 本稿では,MTSプレトレインモデルについて述べる。 -DMAE、上記の障害を克服する。
  論文  参考訳（メタデータ） (2022-09-16T08:54:02Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。