論文の概要: A Transformer-based Framework for Multivariate Time Series Representation Learning

• arxiv url: http://arxiv.org/abs/2010.02803v3
• Date: Tue, 8 Dec 2020 21:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:35:32.732672
• Title: A Transformer-based Framework for Multivariate Time Series Representation Learning
• Title（参考訳）: 多変量時系列表現学習のためのトランスベースフレームワーク
• Authors: George Zerveas, Srideepika Jayaraman, Dhaval Patel, Anuradha Bhamidipaty, Carsten Eickhoff
• Abstract要約: 事前訓練されたモデルは、回帰や分類、予測、値計算の欠如といった下流タスクに使用することができる。 提案手法は,これまでに提示された多変量時系列の教師なし学習を用いた最も成功した手法であることを示す。 我々は、教師なしのトランスフォーマーモデルの事前学習が、完全に教師付き学習よりも大きなパフォーマンス上のメリットをもたらすことを実証した。
• 参考スコア（独自算出の注目度）: 12.12960851087613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we propose for the first time a transformer-based framework for unsupervised representation learning of multivariate time series. Pre-trained models can be potentially used for downstream tasks such as regression and classification, forecasting and missing value imputation. By evaluating our models on several benchmark datasets for multivariate time series regression and classification, we show that not only does our modeling approach represent the most successful method employing unsupervised learning of multivariate time series presented to date, but also that it exceeds the current state-of-the-art performance of supervised methods; it does so even when the number of training samples is very limited, while offering computational efficiency. Finally, we demonstrate that unsupervised pre-training of our transformer models offers a substantial performance benefit over fully supervised learning, even without leveraging additional unlabeled data, i.e., by reusing the same data samples through the unsupervised objective.
• Abstract（参考訳）: 本研究では,多変量時系列の教師なし表現学習のためのトランスベースフレームワークを初めて提案する。 事前訓練されたモデルは、回帰や分類、予測、値計算の欠如といった下流タスクに使用することができる。 多変量時系列回帰と分類のための複数のベンチマークデータセットでモデルを評価することにより、我々のモデリングアプローチは、現在提示されている多変量時系列の教師なし学習を用いた最も成功した手法であるだけでなく、教師あり手法の現在の性能を超えていることを示す。 最後に,トランスモデルの教師なし事前学習は,教師なしの目的を通じて同じデータサンプルを再利用することにより,ラベルなしの新たなデータを活用することなく,完全に教師付き学習よりも大きなパフォーマンス上のメリットをもたらすことを示す。

関連論文リスト

• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Multi-Granularity Framework for Unsupervised Representation Learning of Time Series [1.003058966910087]
  本稿では,時系列の多粒度表現学習を実現するための教師なしフレームワークを提案する。 具体的には、粒度と粒度の粗さを関連付けるために、粒度変換器を用いた。 さらに,時系列の多粒度表現を学習するための教師なし学習タスクとして検索タスクを導入した。
  論文  参考訳（メタデータ） (2023-12-12T13:25:32Z)
• One Fits All: Universal Time Series Analysis by Pretrained LM and Specially Designed Adaptors [23.292260325891032]
  事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを紹介する。 これらのアダプタは、効率的なパラメータチューニングによってさらに拡張され、すべての最先端手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2023-11-24T16:32:47Z)
• Compatible Transformer for Irregularly Sampled Multivariate Time Series [75.79309862085303]
  本研究では,各サンプルに対して総合的な時間的相互作用特徴学習を実現するためのトランスフォーマーベースのエンコーダを提案する。 実世界の3つのデータセットについて広範な実験を行い、提案したCoFormerが既存の手法を大幅に上回っていることを検証した。
  論文  参考訳（メタデータ） (2023-10-17T06:29:09Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
  本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。 実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-07T14:02:15Z)
• Multi-Time Attention Networks for Irregularly Sampled Time Series [18.224344440110862]
  不規則サンプリングは多くの時系列モデリングアプリケーションで発生する。 我々は,この設定のための新しいディープラーニングフレームワークを提案し,これをマルチ時間注意ネットワークと呼ぶ。 その結果,我々のアプローチは,ベースラインや最近提案されたモデルと同等かそれ以上の性能を示すことができた。
  論文  参考訳（メタデータ） (2021-01-25T18:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。