論文の概要: Ti-MAE: Self-Supervised Masked Time Series Autoencoders
- arxiv url: http://arxiv.org/abs/2301.08871v1
- Date: Sat, 21 Jan 2023 03:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:58:29.717286
- Title: Ti-MAE: Self-Supervised Masked Time Series Autoencoders
- Title（参考訳）: Ti-MAE:自己監督型マスク付きタイムシリーズオートエンコーダ
- Authors: Zhe Li, Zhongwen Rao, Lujia Pan, Pengyun Wang, Zenglin Xu
- Abstract要約: 本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
- 参考スコア（独自算出の注目度）: 16.98069693152999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multivariate Time Series forecasting has been an increasingly popular topic
in various applications and scenarios. Recently, contrastive learning and
Transformer-based models have achieved good performance in many long-term
series forecasting tasks. However, there are still several issues in existing
methods. First, the training paradigm of contrastive learning and downstream
prediction tasks are inconsistent, leading to inaccurate prediction results.
Second, existing Transformer-based models which resort to similar patterns in
historical time series data for predicting future values generally induce
severe distribution shift problems, and do not fully leverage the sequence
information compared to self-supervised methods. To address these issues, we
propose a novel framework named Ti-MAE, in which the input time series are
assumed to follow an integrate distribution. In detail, Ti-MAE randomly masks
out embedded time series data and learns an autoencoder to reconstruct them at
the point-level. Ti-MAE adopts mask modeling (rather than contrastive learning)
as the auxiliary task and bridges the connection between existing
representation learning and generative Transformer-based methods, reducing the
difference between upstream and downstream forecasting tasks while maintaining
the utilization of original time series data. Experiments on several public
real-world datasets demonstrate that our framework of masked autoencoding could
learn strong representations directly from the raw data, yielding better
performance in time series forecasting and classification tasks.
- Abstract（参考訳）: 多変量時系列の予測は、様々なアプリケーションやシナリオでますます人気のあるトピックとなっている。
近年,多くの長期連続予測タスクにおいて,コントラスト学習とトランスフォーマーに基づくモデルの性能が向上している。
しかし、既存の手法にはいくつかの問題がある。
まず、コントラスト学習と下流予測タスクのトレーニングパラダイムは一貫性がなく、不正確な予測結果につながる。
第2に、過去の時系列データに類似したパターンを取り入れたトランスフォーマーベースの既存モデルは、一般に分布シフトの問題を引き起こすが、自己管理手法と比較してシーケンス情報を十分に活用しない。
これらの問題に対処するために,入力時系列が統合分布に従うと仮定した,Ti-MAEという新しいフレームワークを提案する。
詳細は、Ti-MAEが組込み時系列データをランダムにマスクアウトし、オートエンコーダを学習してポイントレベルで再構築する。
Ti-MAEは、マスクモデリングを補助タスクとして採用し、既存の表現学習と生成トランスフォーマーベースの手法の接続をブリッジし、元の時系列データの利用を維持しながら上流と下流の予測タスクの違いを減らす。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習し、時系列予測や分類タスクのパフォーマンスが向上することを示した。
関連論文リスト
- Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳（メタデータ） (2024-02-07T13:51:26Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-03-01T08:33:16Z) - MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting [6.497816402045097]
MTSMAEと呼ばれるMasked Autoencoders (MAE) に基づく自己指導型事前学習手法を提案する。
論文 参考訳（メタデータ） (2022-10-04T03:06:21Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - A Transformer-based Framework for Multivariate Time Series
Representation Learning [12.12960851087613]
事前訓練されたモデルは、回帰や分類、予測、値計算の欠如といった下流タスクに使用することができる。
提案手法は,これまでに提示された多変量時系列の教師なし学習を用いた最も成功した手法であることを示す。
我々は、教師なしのトランスフォーマーモデルの事前学習が、完全に教師付き学習よりも大きなパフォーマンス上のメリットをもたらすことを実証した。
論文 参考訳（メタデータ） (2020-10-06T15:14:46Z) - Deep Transformer Models for Time Series Forecasting: The Influenza
Prevalence Case [2.997238772148965]
時系列データは、多くの科学と工学の分野で広く使われている。
本稿では,トランスフォーマーに基づく機械学習モデルを用いた時系列予測の新しい手法を提案する。
提案手法により得られた予測結果は,最先端技術と良好に比較できることを示す。
論文 参考訳（メタデータ） (2020-01-23T00:22:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。