論文の概要: MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting

• arxiv url: http://arxiv.org/abs/2210.02199v1
• Date: Tue, 4 Oct 2022 03:06:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:17:38.640175
• Title: MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting
• Title（参考訳）: MTSMAE:多変量時系列予測のためのマスク付きオートエンコーダ
• Authors: Peiwang Tang and Xianchao Zhang
• Abstract要約: MTSMAEと呼ばれるMasked Autoencoders (MAE) に基づく自己指導型事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 6.497816402045097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale self-supervised pre-training Transformer architecture have significantly boosted the performance for various tasks in natural language processing (NLP) and computer vision (CV). However, there is a lack of researches on processing multivariate time-series by pre-trained Transformer, and especially, current study on masking time-series for self-supervised learning is still a gap. Different from language and image processing, the information density of time-series increases the difficulty of research. The challenge goes further with the invalidity of the previous patch embedding and mask methods. In this paper, according to the data characteristics of multivariate time-series, a patch embedding method is proposed, and we present an self-supervised pre-training approach based on Masked Autoencoders (MAE), called MTSMAE, which can improve the performance significantly over supervised learning without pre-training. Evaluating our method on several common multivariate time-series datasets from different fields and with different characteristics, experiment results demonstrate that the performance of our method is significantly better than the best method currently available.
• Abstract（参考訳）: 大規模自己教師型事前学習型トランスフォーマーアーキテクチャは、自然言語処理(NLP)やコンピュータビジョン(CV)における様々なタスクのパフォーマンスを大幅に向上させた。 しかし、事前学習型トランスフォーマーによる多変量時系列処理の研究は乏しく、特に、自己教師型学習のためのマスキング時間系列の研究は依然としてギャップである。 言語や画像処理とは異なり、時系列の情報密度は研究の難しさを増す。 この問題は、以前のパッチ埋め込みとマスクメソッドの無効性によってさらに進展する。 本稿では,多変量時系列のデータ特性に基づいてパッチ埋め込み手法を提案し,MTSMAEと呼ばれるMasked Autoencoders(MAE)に基づく自己教師型事前学習手法を提案する。 異なるフィールドと異なる特性を持つ複数の多変量時系列データセットを用いて本手法の評価を行い,本手法が現在利用可能な最良の手法よりも優れていることを示す。

関連論文リスト

• MTSCI: A Conditional Diffusion Model for Multivariate Time Series Consistent Imputation [41.681869408967586]
  主要な研究課題は、どのようにインパルスの整合性を確保するか、すなわち観測値とインパルス値の整合性を確保するかである。 従来の手法は、学習プロセスを導くために、計算対象の帰納的バイアスにのみ依存する。
  論文  参考訳（メタデータ） (2024-08-11T10:24:53Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Large Scale Mask Optimization Via Convolutional Fourier Neural Operator and Litho-Guided Self Training [54.16367467777526]
  マスクタスクを効率的に学習できる畳み込みニューラルネットワーク(CFCF)を提案する。 機械学習ベースのフレームワークが初めて、最先端の数値マスクデータセットを上回った。
  論文  参考訳（メタデータ） (2022-07-08T16:39:31Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Enhancing Transformer Efficiency for Multivariate Time Series Classification [12.128991867050487]
  本稿では,モデル効率と精度,複雑さの関係を考察する手法を提案する。 ベンチマークMSSデータセットの総合実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-28T03:25:19Z)
• A Transformer-based Framework for Multivariate Time Series Representation Learning [12.12960851087613]
  事前訓練されたモデルは、回帰や分類、予測、値計算の欠如といった下流タスクに使用することができる。 提案手法は,これまでに提示された多変量時系列の教師なし学習を用いた最も成功した手法であることを示す。 我々は、教師なしのトランスフォーマーモデルの事前学習が、完全に教師付き学習よりも大きなパフォーマンス上のメリットをもたらすことを実証した。
  論文  参考訳（メタデータ） (2020-10-06T15:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。