論文の概要: Large Pre-trained time series models for cross-domain Time series analysis tasks

• arxiv url: http://arxiv.org/abs/2311.11413v1
• Date: Sun, 19 Nov 2023 20:16:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:31:39.872540
• Title: Large Pre-trained time series models for cross-domain Time series analysis tasks
• Title（参考訳）: クロスドメイン時系列解析タスクのための大規模事前学習時系列モデル
• Authors: Harshavardhan Kamarthi, B. Aditya Prakash
• Abstract要約: 本稿では,事前学習中に最適なデータセット特定セグメンテーション戦略を自動的に識別する新しいモデルLPTMを提案する。 LPTMは、ドメイン固有の最先端モデルと同等かそれ以上のパフォーマンスを提供し、データよりもはるかに多く、最大40%のデータを取り込み、50%のトレーニング時間を効率よく処理する。
• 参考スコア（独自算出の注目度）: 23.897701882327972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained models have been instrumental in significant advancements in domains like language and vision making model training for individual downstream tasks more efficient as well as provide superior performance. However, tackling time-series analysis tasks usually involves designing and training a separate model from scratch leveraging training data and domain expertise specific to the task. We tackle a significant challenge for pre-training a general time-series model from multiple heterogeneous time-series dataset: providing semantically useful inputs to models for modeling time series of different dynamics from different domains. We observe that partitioning time-series into segments as inputs to sequential models produces semantically better inputs and propose a novel model LPTM that automatically identifies optimal dataset-specific segmentation strategy leveraging self-supervised learning loss during pre-training. LPTM provides performance similar to or better than domain-specific state-of-art model and is significantly more data and compute efficient taking up to 40% less data as well as 50% less training time to achieve state-of-art performance in a wide range of time-series analysis tasks from multiple disparate domain.
• Abstract（参考訳）: 大規模な事前学習モデルは、個々の下流タスクのためのモデルトレーニングをより効率的にし、優れたパフォーマンスを提供するために、言語やビジョンのような領域において重要な進歩に役立っている。 しかしながら、時系列分析タスクに取り組むには、通常、タスク特有のトレーニングデータとドメイン専門知識を活用して、スクラッチから分離したモデルを設計およびトレーニングすることが必要となる。 我々は、複数の不均一な時系列データセットから一般的な時系列モデルを事前学習するための重要な課題に取り組む:異なるドメインから異なるダイナミクスの時系列をモデル化するためのモデルに意味的に有用な入力を提供する。 逐次モデルへの入力として時系列をセグメントに分割することで意味論的により良い入力が得られることを観察し、事前学習中に自己教師付き学習損失を利用した最適なデータセット特異的セグメンテーション戦略を自動的に識別する新しいモデルLPTMを提案する。 LPTMは、ドメイン固有の最先端モデルと同等かそれ以上のパフォーマンスを提供し、複数の異なるドメインからの幅広い時系列分析タスクにおいて、最大40%のデータを取り込み、50%のトレーニング時間で最先端のパフォーマンスを達成することができる。

関連論文リスト

• Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP) [36.01963149343915]
  時系列分析のための総合ベンチマークデータセットを作成するための新しい手法を提案する。 多様な、代表的で、挑戦的な時系列データセットをキュレートするプロセスについて議論する。
  論文  参考訳（メタデータ） (2024-10-14T16:25:54Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
  予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。 主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。 その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-26T11:54:54Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Toward a Foundation Model for Time Series Data [34.1973242428317]
  基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。 複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
  論文  参考訳（メタデータ） (2023-10-05T21:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。