論文の概要: UNITS: A Unified Multi-Task Time Series Model

• arxiv url: http://arxiv.org/abs/2403.00131v2
• Date: Wed, 29 May 2024 18:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 20:54:36.751182
• Title: UNITS: A Unified Multi-Task Time Series Model
• Title（参考訳）: UNITS: 統合マルチタスク時系列モデル
• Authors: Shanghua Gao, Teddy Koker, Owen Queen, Thomas Hartvigsen, Theodoros Tsiligkaridis, Marinka Zitnik,
• Abstract要約: タスクトークン化を用いたマルチタスク時系列モデルUniTSを導入し,予測および生成タスクを単一モデル内で表現する。 人間の活動センサー、医療、エンジニアリング、ファイナンスドメインにまたがる38のデータセットに対して、UniTSモデルは12の予測モデル、20の分類モデル、18の異常検出モデル、16の計算モデルに対して好意的に機能する。
• 参考スコア（独自算出の注目度）: 31.675845788410246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in time series models are driving a shift from conventional deep learning methods to pre-trained foundational models. While pre-trained transformers and reprogrammed text-based LLMs report state-of-the-art results, the best-performing architectures vary significantly across tasks, and models often have limited scope, such as focusing only on time series forecasting. Models that unify predictive and generative time series tasks under a single framework remain challenging to achieve. We introduce UniTS, a multi-task time series model that uses task tokenization to express predictive and generative tasks within a single model. UniTS leverages a modified transformer block designed to obtain universal time series representations. This design induces transferability from a heterogeneous, multi-domain pre-training dataset-often with diverse dynamic patterns, sampling rates, and temporal scales-to many downstream datasets, which can also be diverse in task specifications and data domains. Across 38 datasets spanning human activity sensors, healthcare, engineering, and finance domains, UniTS model performs favorably against 12 forecasting models, 20 classification models, 18 anomaly detection models, and 16 imputation models, including repurposed text-based LLMs. UniTS demonstrates effective few-shot and prompt learning capabilities when evaluated on new data domains and tasks. In the conventional single-task setting, UniTS outperforms strong task-specialized time series models. The source code and datasets are available at https://github.com/mims-harvard/UniTS.
• Abstract（参考訳）: 時系列モデルの進歩は、従来のディープラーニング手法から、事前訓練された基礎モデルへのシフトを促している。 事前訓練されたトランスフォーマーと再プログラムされたテキストベースのLCMは、最先端の結果を報告するが、最高のパフォーマンスのアーキテクチャはタスクによって大きく異なり、しばしばモデルは時系列予測のみに焦点を当てるなど、限られた範囲を持つ。 予測的および生成的時系列タスクを単一のフレームワークで統一するモデルは、達成が困難なままである。 タスクトークン化を用いたマルチタスク時系列モデルUniTSを導入し,予測および生成タスクを単一モデル内で表現する。 UniTSは、ユニバーサル時系列表現を得るために設計された改良されたトランスフォーマーブロックを利用する。 この設計は、多種多様な動的パターン、サンプリングレート、時間スケールを持つ、多種多様なマルチドメイン事前トレーニングデータセットから、多くの下流データセットへの転送可能性を誘導する。 人間の活動センサー、医療、エンジニアリング、ファイナンスドメインにまたがる38のデータセットに対して、UniTSモデルは、12の予測モデル、20の分類モデル、18の異常検出モデル、および16の計算モデルに対して好意的に機能する。 UniTSは、新しいデータドメインやタスクを評価する際に、効果的な数ショットと迅速な学習機能を示す。 従来のシングルタスク設定では、UniTSは強いタスク特化時系列モデルより優れている。 ソースコードとデータセットはhttps://github.com/mims-harvard/UniTSで公開されている。

関連論文リスト

• Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
  テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。 TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-13T03:43:27Z)
• LAST SToP For Modeling Asynchronous Time Series [19.401463051705377]
  Asynchronous Time Series に合わせたLarge Language Models (LLM) のための新しいプロンプト設計を提案する。 我々のアプローチはイベント記述のリッチな自然言語を効果的に活用し、LLMはさまざまなドメインやタスクをまたがる推論において、広範囲にわたる知識の恩恵を受けることができる。 さらに、モデル性能を大幅に向上させる新しいプロンプトチューニング機構であるSoft Promptingを導入し、QLoRAのような既存の微調整方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T01:42:45Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。