論文の概要: Large Pre-trained time series models for cross-domain Time series analysis tasks

• arxiv url: http://arxiv.org/abs/2311.11413v2
• Date: Thu, 11 Jul 2024 16:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 23:37:48.586033
• Title: Large Pre-trained time series models for cross-domain Time series analysis tasks
• Title（参考訳）: クロスドメイン時系列解析タスクのための大規模事前学習時系列モデル
• Authors: Harshavardhan Kamarthi, B. Aditya Prakash,
• Abstract要約: 本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
• 参考スコア（独自算出の注目度）: 20.228846068418765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained models have been vital in recent advancements in domains like language and vision, making model training for individual downstream tasks more efficient and provide superior performance. However, tackling time-series analysis tasks usually involves designing and training a separate model from scratch leveraging training data and domain expertise specific to the task. We tackle a significant challenge for pre-training a foundational time-series model from multi-domain time-series datasets: extracting semantically useful tokenized inputs to the model across heterogenous time-series from different domains. We propose Large Pre-trained Time-series Models (LPTM) that introduces a novel method of \textit{adaptive segmentation} that automatically identifies optimal dataset-specific segmentation strategy during pre-training. This enables LPTM to perform similar to or better than domain-specific state-of-art model when fine-tuned to different downstream time-series analysis tasks and under zero-shot settings. LPTM achieves superior forecasting and time-series classification results taking up to 40% less data and 50% less training time compared to state-of-art baselines.
• Abstract（参考訳）: 大規模な事前学習モデルは、言語やビジョンといった領域の最近の進歩において不可欠であり、個々の下流タスクのためのモデルトレーニングをより効率的にし、優れたパフォーマンスを提供する。 しかしながら、時系列分析タスクに対処するには、通常、タスク固有のトレーニングデータとドメインの専門知識を活用して、スクラッチから別々のモデルを設計し、訓練する必要がある。 我々は、複数のドメインの時系列データセットから基本時系列モデルを事前学習する上で、重要な課題に取り組み、異なるドメインから異種時系列にわたって意味的に有用なトークン化された入力をモデルに抽出する。 本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,‘textit{adaptive segmentation’という新しい手法を導入する,LPTM(Large Pre-trained Time-Seグメンテーションモデル)を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。

関連論文リスト

• Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP) [36.01963149343915]
  時系列分析のための総合ベンチマークデータセットを作成するための新しい手法を提案する。 多様な、代表的で、挑戦的な時系列データセットをキュレートするプロセスについて議論する。
  論文  参考訳（メタデータ） (2024-10-14T16:25:54Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
  予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。 主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。 その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-26T11:54:54Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Toward a Foundation Model for Time Series Data [34.1973242428317]
  基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。 複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
  論文  参考訳（メタデータ） (2023-10-05T21:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。