論文の概要: UniTS: Building a Unified Time Series Model
- arxiv url: http://arxiv.org/abs/2403.00131v1
- Date: Thu, 29 Feb 2024 21:25:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 19:07:17.199160
- Title: UniTS: Building a Unified Time Series Model
- Title(参考訳): UniTS: 統一時系列モデルの構築
- Authors: Shanghua Gao, Teddy Koker, Owen Queen, Thomas Hartvigsen, Theodoros
Tsiligkaridis, Marinka Zitnik
- Abstract要約: UNITSは統一された時系列モデルであり、普遍的なタスク仕様、分類の調整、予測、計算、異常検出タスクをサポートする。
38のマルチドメインデータセットにまたがって、UNITSはタスク固有のモデルや自然言語ベースのLLMよりも優れたパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 33.564227351098005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models, especially LLMs, are profoundly transforming deep
learning. Instead of training many task-specific models, we can adapt a single
pretrained model to many tasks via fewshot prompting or fine-tuning. However,
current foundation models apply to sequence data but not to time series, which
present unique challenges due to the inherent diverse and multidomain time
series datasets, diverging task specifications across forecasting,
classification and other types of tasks, and the apparent need for
task-specialized models. We developed UNITS, a unified time series model that
supports a universal task specification, accommodating classification,
forecasting, imputation, and anomaly detection tasks. This is achieved through
a novel unified network backbone, which incorporates sequence and variable
attention along with a dynamic linear operator and is trained as a unified
model. Across 38 multi-domain datasets, UNITS demonstrates superior performance
compared to task-specific models and repurposed natural language-based LLMs.
UNITS exhibits remarkable zero-shot, few-shot, and prompt learning capabilities
when evaluated on new data domains and tasks. The source code and datasets are
available at https://github.com/mims-harvard/UniTS.
- Abstract(参考訳): 基礎モデル、特にLLMは、ディープラーニングを深く変えています。
多くのタスク固有のモデルをトレーニングする代わりに、スナップショットプロンプトや微調整によって、単一の事前訓練されたモデルを多くのタスクに適用できます。
しかし、現在の基礎モデルはシーケンスデータに適用されるが、時系列には適用されない。これは、固有の多様性とマルチドメインの時系列データセット、予測、分類、その他のタスクのタイプにまたがるタスク仕様のばらつき、およびタスク特定モデルの明らかな必要性により、固有の課題を示す。
我々は、普遍的なタスク仕様をサポートし、分類、予測、インプテーション、異常検出タスクを適応する統一時系列モデルであるunitsを開発した。
これは、動的線形演算子とともにシーケンスと可変アテンションを組み込んだ新しい統一ネットワークバックボーンによって実現され、統一モデルとして訓練される。
38のマルチドメインデータセットにまたがって、UNITSはタスク固有のモデルや自然言語ベースのLLMよりも優れたパフォーマンスを示している。
UNITSは、新しいデータドメインやタスクで評価すると、目覚ましいゼロショット、少数ショット、そして迅速な学習能力を示す。
ソースコードとデータセットはhttps://github.com/mims-harvard/unitsで入手できる。
関連論文リスト
- Chronos: Learning the Language of Time Series [79.45082787390962]
Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。
クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2024-03-12T16:53:54Z) - Unified Training of Universal Time Series Forecasting Transformers [110.79681024473159]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Large Pre-trained time series models for cross-domain Time series
analysis tasks [23.897701882327972]
本稿では,事前学習中に最適なデータセット特定セグメンテーション戦略を自動的に識別する新しいモデルLPTMを提案する。
LPTMは、ドメイン固有の最先端モデルと同等かそれ以上のパフォーマンスを提供し、データよりもはるかに多く、最大40%のデータを取り込み、50%のトレーニング時間を効率よく処理する。
論文 参考訳(メタデータ) (2023-11-19T20:16:16Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Testing the Limits of Unified Sequence to Sequence LLM Pretraining on
Diverse Table Data Tasks [2.690048852269647]
本研究では、770Mから11Bのシーケンスからシーケンスモデルにスケールする際のテーブル特定事前学習に対する統一的なアプローチの利点について検討する。
我々の研究は、770Mから11Bのシーケンスからシーケンスモデルにスケールする際、テーブル固有の事前訓練に対する統一的なアプローチの利点を研究する最初の試みである。
論文 参考訳(メタデータ) (2023-10-01T21:06:15Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。
実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
論文 参考訳(メタデータ) (2022-04-07T14:02:15Z) - Merlion: A Machine Learning Library for Time Series [73.46386700728577]
Merlionは時系列のためのオープンソースの機械学習ライブラリである。
モデルの統一インターフェースと、異常検出と予測のためのデータセットを備えている。
Merlionはまた、本番環境でのモデルのライブデプロイメントと再トレーニングをシミュレートするユニークな評価フレームワークも提供する。
論文 参考訳(メタデータ) (2021-09-20T02:03:43Z) - Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task
Generalization in Few-shot Learning [1.0062040918634414]
少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。
本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
論文 参考訳(メタデータ) (2020-09-23T17:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。