論文の概要: UniTS: Building a Unified Time Series Model

• arxiv url: http://arxiv.org/abs/2403.00131v1
• Date: Thu, 29 Feb 2024 21:25:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 19:07:17.199160
• Title: UniTS: Building a Unified Time Series Model
• Title（参考訳）: UniTS: 統一時系列モデルの構築
• Authors: Shanghua Gao, Teddy Koker, Owen Queen, Thomas Hartvigsen, Theodoros Tsiligkaridis, Marinka Zitnik
• Abstract要約: UNITSは統一された時系列モデルであり、普遍的なタスク仕様、分類の調整、予測、計算、異常検出タスクをサポートする。 38のマルチドメインデータセットにまたがって、UNITSはタスク固有のモデルや自然言語ベースのLLMよりも優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 33.564227351098005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models, especially LLMs, are profoundly transforming deep learning. Instead of training many task-specific models, we can adapt a single pretrained model to many tasks via fewshot prompting or fine-tuning. However, current foundation models apply to sequence data but not to time series, which present unique challenges due to the inherent diverse and multidomain time series datasets, diverging task specifications across forecasting, classification and other types of tasks, and the apparent need for task-specialized models. We developed UNITS, a unified time series model that supports a universal task specification, accommodating classification, forecasting, imputation, and anomaly detection tasks. This is achieved through a novel unified network backbone, which incorporates sequence and variable attention along with a dynamic linear operator and is trained as a unified model. Across 38 multi-domain datasets, UNITS demonstrates superior performance compared to task-specific models and repurposed natural language-based LLMs. UNITS exhibits remarkable zero-shot, few-shot, and prompt learning capabilities when evaluated on new data domains and tasks. The source code and datasets are available at https://github.com/mims-harvard/UniTS.
• Abstract（参考訳）: 基礎モデル、特にLLMは、ディープラーニングを深く変えています。 多くのタスク固有のモデルをトレーニングする代わりに、スナップショットプロンプトや微調整によって、単一の事前訓練されたモデルを多くのタスクに適用できます。 しかし、現在の基礎モデルはシーケンスデータに適用されるが、時系列には適用されない。これは、固有の多様性とマルチドメインの時系列データセット、予測、分類、その他のタスクのタイプにまたがるタスク仕様のばらつき、およびタスク特定モデルの明らかな必要性により、固有の課題を示す。 我々は、普遍的なタスク仕様をサポートし、分類、予測、インプテーション、異常検出タスクを適応する統一時系列モデルであるunitsを開発した。 これは、動的線形演算子とともにシーケンスと可変アテンションを組み込んだ新しい統一ネットワークバックボーンによって実現され、統一モデルとして訓練される。 38のマルチドメインデータセットにまたがって、UNITSはタスク固有のモデルや自然言語ベースのLLMよりも優れたパフォーマンスを示している。 UNITSは、新しいデータドメインやタスクで評価すると、目覚ましいゼロショット、少数ショット、そして迅速な学習能力を示す。 ソースコードとデータセットはhttps://github.com/mims-harvard/unitsで入手できる。

関連論文リスト

• Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
  テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。 TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-13T03:43:27Z)
• LAST SToP For Modeling Asynchronous Time Series [19.401463051705377]
  Asynchronous Time Series に合わせたLarge Language Models (LLM) のための新しいプロンプト設計を提案する。 我々のアプローチはイベント記述のリッチな自然言語を効果的に活用し、LLMはさまざまなドメインやタスクをまたがる推論において、広範囲にわたる知識の恩恵を受けることができる。 さらに、モデル性能を大幅に向上させる新しいプロンプトチューニング機構であるSoft Promptingを導入し、QLoRAのような既存の微調整方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T01:42:45Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。