論文の概要: A Survey on Time-Series Pre-Trained Models
- arxiv url: http://arxiv.org/abs/2305.10716v2
- Date: Fri, 04 Oct 2024 15:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:07:45.276704
- Title: A Survey on Time-Series Pre-Trained Models
- Title(参考訳): 時系列事前学習モデルに関する調査
- Authors: Qianli Ma, Zhen Liu, Zhenjing Zheng, Ziyang Huang, Siying Zhu, Zhongzhong Yu, James T. Kwok,
- Abstract要約: 時系列マイニング (TSM) は, 実用化に大きな可能性を示す重要な研究分野である。
大量のラベル付きデータに依存するディープラーニングモデルは、TSMにうまく活用されている。
近年,コンピュータビジョンや自然言語処理における卓越した性能により,事前学習モデルが時系列領域で徐々に注目を集めている。
- 参考スコア(独自算出の注目度): 37.0932706268589
- License:
- Abstract: Time-Series Mining (TSM) is an important research area since it shows great potential in practical applications. Deep learning models that rely on massive labeled data have been utilized for TSM successfully. However, constructing a large-scale well-labeled dataset is difficult due to data annotation costs. Recently, pre-trained models have gradually attracted attention in the time series domain due to their remarkable performance in computer vision and natural language processing. In this survey, we provide a comprehensive review of Time-Series Pre-Trained Models (TS-PTMs), aiming to guide the understanding, applying, and studying TS-PTMs. Specifically, we first briefly introduce the typical deep learning models employed in TSM. Then, we give an overview of TS-PTMs according to the pre-training techniques. The main categories we explore include supervised, unsupervised, and self-supervised TS-PTMs. Further, extensive experiments involving 27 methods, 434 datasets, and 679 transfer learning scenarios are conducted to analyze the advantages and disadvantages of transfer learning strategies, Transformer-based models, and representative TS-PTMs. Finally, we point out some potential directions of TS-PTMs for future work.
- Abstract(参考訳): 時系列マイニング (TSM) は, 実用化に大きな可能性を示す重要な研究分野である。
大量のラベル付きデータに依存するディープラーニングモデルは、TSMにうまく活用されている。
しかし、データアノテーションのコストのため、大規模にラベル付けされたデータセットの構築は困難である。
近年,コンピュータビジョンや自然言語処理における卓越した性能により,事前学習モデルが時系列領域で徐々に注目を集めている。
本稿では,TS-PTMの理解,適用,研究の指導を目的とした時系列事前学習モデル(TS-PTM)の総合的なレビューを行う。
具体的には、まず、TSMで使用される典型的なディープラーニングモデルについて紹介する。
次に,事前学習手法によるTS-PTMの概要を示す。
私たちが調査する主なカテゴリは、教師なし、教師なし、および自己監督型のTS-PTMである。
さらに,27の手法,434のデータセット,679のトランスファーラーニングシナリオを含む広範な実験を行い,トランスファーラーニング戦略,トランスフォーマーベースモデル,代表的TS-PTMの利点とデメリットを分析した。
最後に,将来に向けたTS-PTMの可能性について述べる。
関連論文リスト
- A Systematic Evaluation of Generated Time Series and Their Effects in Self-Supervised Pretraining [34.99623416888207]
自己教師付き事前訓練モデル(PTM)は、コンピュータビジョンと自然言語処理タスクにおいて顕著な性能を示した。
実験では、ほとんどの自己教師付き時系列PTMは、単純な教師付きモデルによって超えられた。
以上の結果から,実データ事前学習セットを大量のサンプルのみに置き換えることで,顕著な改善が得られた。
論文 参考訳(メタデータ) (2024-08-15T00:53:09Z) - Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。
本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。
textttLTSM-bundleを導入します。
論文 参考訳(メタデータ) (2024-06-20T07:09:19Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。
これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
論文 参考訳(メタデータ) (2023-11-19T20:16:16Z) - TRAM: Benchmarking Temporal Reasoning for Large Language Models [12.112914393948415]
10個のデータセットからなる時間的推論ベンチマークであるTRAMを紹介する。
GPT-4やLlama2のような一般的な言語モデルをゼロショットや少数ショットのシナリオで評価する。
以上の結果から,最も優れたモデルラグは人的パフォーマンスに大きく遅れていることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T00:59:07Z) - Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・
次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
論文 参考訳(メタデータ) (2023-02-20T15:34:03Z) - Pre-training Enhanced Spatial-temporal Graph Neural Network for
Multivariate Time Series Forecasting [13.441945545904504]
スケーラブルな時系列事前学習モデル(STEP)によりSTGNNが拡張される新しいフレームワークを提案する。
具体的には、非常に長期の歴史時系列から時間パターンを効率的に学習するための事前学習モデルを設計する。
我々のフレームワークは下流のSTGNNを著しく強化することができ、事前学習モデルは時間パターンを適切にキャプチャする。
論文 参考訳(メタデータ) (2022-06-18T04:24:36Z) - Visual Learning-based Planning for Continuous High-Dimensional POMDPs [81.16442127503517]
Visual Tree Search (VTS)は、オフラインで学習した生成モデルとオンラインモデルベースのPOMDP計画を組み合わせた学習と計画の手順である。
VTSは、モンテカルロの木探索プランナーにおける画像観測の可能性を予測し評価するために、一連の深部生成観測モデルを利用することで、オフラインモデルトレーニングとオンラインプランニングを橋渡しする。
VTSは、異なる観測ノイズに対して堅牢であり、オンラインのモデルベースプランニングを利用するため、再トレーニングを必要とせずに、異なる報酬構造に適応できることを示す。
論文 参考訳(メタデータ) (2021-12-17T11:53:31Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳(メタデータ) (2021-06-14T02:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。