論文の概要: UniTS: A Unified Multi-Task Time Series Model

• arxiv url: http://arxiv.org/abs/2403.00131v3
• Date: Mon, 25 Nov 2024 20:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:27.054541
• Title: UniTS: A Unified Multi-Task Time Series Model
• Title（参考訳）: UniTS: 統合マルチタスク時系列モデル
• Authors: Shanghua Gao, Teddy Koker, Owen Queen, Thomas Hartvigsen, Theodoros Tsiligkaridis, Marinka Zitnik,
• Abstract要約: UniTSは、予測タスクと生成タスクを単一のフレームワークに統合した、統合されたマルチタスク時系列モデルである。 UniTSは、人間の活動センサー、ヘルスケア、エンジニアリング、ファイナンスにまたがる38のデータセットでテストされている。
• 参考スコア（独自算出の注目度）: 31.675845788410246
• License:
• Abstract: Although pre-trained transformers and reprogrammed text-based LLMs have shown strong performance on time series tasks, the best-performing architectures vary widely across tasks, with most models narrowly focused on specific areas, such as time series forecasting. Unifying predictive and generative time series tasks within a single model remains challenging. We introduce UniTS, a unified multi-task time series model that utilizes task tokenization to integrate predictive and generative tasks into a single framework. UniTS employs a modified transformer block to capture universal time series representations, enabling transferability from a heterogeneous, multi-domain pre-training dataset-characterized by diverse dynamic patterns, sampling rates, and temporal scales-to a wide range of downstream datasets with varied task specifications and data domains. Tested on 38 datasets across human activity sensors, healthcare, engineering, and finance, UniTS achieves superior performance compared to 12 forecasting models, 20 classification models, 18 anomaly detection models, and 16 imputation models, including adapted text-based LLMs. UniTS also demonstrates strong few-shot and prompt capabilities when applied to new domains and tasks. In single-task settings, UniTS outperforms competitive task-specialized time series models. Code and datasets are available at https://github.com/mims-harvard/UniTS.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーと再プログラムされたテキストベースのLCMは、時系列タスクにおいて強いパフォーマンスを示してきたが、最高のパフォーマンスのアーキテクチャはタスクによって大きく異なり、ほとんどのモデルは時系列予測のような特定の領域に焦点を当てている。 予測的および生成的時系列タスクを単一モデル内で統一することは依然として困難である。 タスクトークン化を利用して予測タスクと生成タスクをひとつのフレームワークに統合するマルチタスク時系列モデルであるUniTSを導入する。 UniTSは、変更されたトランスフォーマーブロックを使用して、普遍的な時系列表現をキャプチャし、多様な動的パターン、サンプリングレート、時間スケールによって特徴付けられる異質なマルチドメイン事前トレーニングデータセットから、さまざまなタスク仕様とデータドメインを持つ幅広い下流データセットへの転送可能性を実現する。 人間のアクティビティセンサー、ヘルスケア、エンジニアリング、ファイナンスにまたがる38のデータセットでテストされたUniTSは、12の予測モデル、20の分類モデル、18の異常検出モデル、および適応テキストベースのLLMを含む16の計算モデルと比較して、優れたパフォーマンスを実現している。 また、UniTSは、新しいドメインやタスクに適用する際、強力な数ショットとプロンプトの能力を示す。 シングルタスク設定では、UniTSは競合するタスク特化時系列モデルより優れている。 コードとデータセットはhttps://github.com/mims-harvard/UniTSで入手できる。

関連論文リスト

• Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
  不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。 本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
  論文  参考訳（メタデータ） (2024-06-20T07:09:19Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
  textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T07:59:02Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
  我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。 本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
  論文  参考訳（メタデータ） (2023-04-25T17:47:48Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。