論文の概要: NuwaTS: a Foundation Model Mending Every Incomplete Time Series
- arxiv url: http://arxiv.org/abs/2405.15317v3
- Date: Wed, 02 Oct 2024 14:34:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:18:03.285008
- Title: NuwaTS: a Foundation Model Mending Every Incomplete Time Series
- Title(参考訳): NuwaTS:不完全な時系列をまとめるファウンデーションモデル
- Authors: Jinguo Cheng, Chunwei Yang, Wanlin Cai, Yuxuan Liang, Qingsong Wen, Yuankai Wu,
- Abstract要約: textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。
NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。
我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
- 参考スコア(独自算出の注目度): 24.768755438620666
- License:
- Abstract: Time series imputation is critical for many real-world applications and has been widely studied. However, existing models often require specialized designs tailored to specific missing patterns, variables, or domains which limits their generalizability. In addition, current evaluation frameworks primarily focus on domain-specific tasks and often rely on time-wise train/validation/test data splits, which fail to rigorously assess a model's ability to generalize across unseen variables or domains. In this paper, we present \textbf{NuwaTS}, a novel framework that repurposes Pre-trained Language Models (PLMs) for general time series imputation. Once trained, NuwaTS can be applied to impute missing data across any domain. We introduce specialized embeddings for each sub-series patch, capturing information about the patch, its missing data patterns, and its statistical characteristics. By combining contrastive learning with the imputation task, we train PLMs to create a versatile, one-for-all imputation model. Additionally, we employ a plug-and-play fine-tuning approach, enabling efficient adaptation to domain-specific tasks with minimal adjustments. To evaluate cross-variable and cross-domain generalization, we propose a new benchmarking protocol that partitions the datasets along the variable dimension. Experimental results on over seventeen million time series samples from diverse domains demonstrate that NuwaTS outperforms state-of-the-art domain-specific models across various datasets under the proposed benchmarking protocol. Furthermore, we show that NuwaTS generalizes to other time series tasks, such as forecasting. Our codes are available at https://github.com/Chengyui/NuwaTS.
- Abstract(参考訳): 時系列計算は多くの実世界の応用において重要であり、広く研究されている。
しかし、既存のモデルは、特定の欠落パターン、変数、あるいはそれらの一般化性を制限する領域に合わせた特別な設計を必要とすることが多い。
さらに、現在の評価フレームワークはドメイン固有のタスクに重点を置いており、しばしばタイムワイドなトレイン/バリデーション/テストのデータ分割に依存している。
本稿では,プレトレーニング言語モデル (PLM) を一般時系列計算に応用した新しいフレームワークである \textbf{NuwaTS} を提案する。
トレーニングが完了すると、NuwaTSを適用して、任意のドメインにまたがる欠落したデータをインプットすることが可能になる。
本稿では,各サブシリーズのパッチに対する特別な埋め込みを導入し,パッチに関する情報,データパターンの欠如,統計特性について報告する。
コントラスト学習と計算課題を組み合わせることで,PLMをトレーニングし,汎用的で一対一な計算モデルを作成する。
さらに、我々は最小限の調整でドメイン固有のタスクに効率的に適応できるプラグイン・アンド・プレイの微調整手法を採用した。
クロス変数およびクロスドメインの一般化を評価するため、可変次元に沿ってデータセットを分割する新しいベンチマークプロトコルを提案する。
様々な領域からの1700万以上の時系列サンプルに対する実験結果から、NuwaTSは、提案されたベンチマークプロトコルの下で、様々なデータセットにわたる最先端のドメイン固有モデルより優れていることが示された。
さらに,NuwaTSが予測などの他の時系列タスクに一般化していることを示す。
私たちのコードはhttps://github.com/Chengyui/NuwaTS.comで公開されています。
関連論文リスト
- Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
時系列データは、現実世界のシナリオにおいて非常に重要である。
近年、時系列コミュニティで顕著なブレークスルーが見られた。
多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
論文 参考訳(メタデータ) (2024-07-18T08:31:55Z) - UNITS: A Unified Multi-Task Time Series Model [31.675845788410246]
タスクトークン化を用いたマルチタスク時系列モデルUniTSを導入し,予測および生成タスクを単一モデル内で表現する。
人間の活動センサー、医療、エンジニアリング、ファイナンスドメインにまたがる38のデータセットに対して、UniTSモデルは12の予測モデル、20の分類モデル、18の異常検出モデル、16の計算モデルに対して好意的に機能する。
論文 参考訳(メタデータ) (2024-02-29T21:25:58Z) - TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis [32.854449155765344]
本稿では,自己教師型で学習した離散ベクトル化表現を用いて,様々な領域からの時系列データを埋め込んだ簡易なトークン化アーキテクチャを提案する。
3つのタスクにわたる17のリアルタイム時系列データセットに対して,TOTEMの有効性を広範囲に評価して検討した。
論文 参考訳(メタデータ) (2024-02-26T09:11:12Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳(メタデータ) (2023-10-09T12:36:16Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。
実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
論文 参考訳(メタデータ) (2022-04-07T14:02:15Z) - Learning from Irregularly-Sampled Time Series: A Missing Data
Perspective [18.493394650508044]
不規則にサンプリングされた時系列は、医療を含む多くの領域で発生する。
連続だが観測されていない関数からサンプリングされた指数値対の列として、不規則にサンプリングされた時系列データをモデル化する。
本稿では,変分オートエンコーダと生成対向ネットワークに基づく学習手法を提案する。
論文 参考訳(メタデータ) (2020-08-17T20:01:55Z) - Connecting the Dots: Multivariate Time Series Forecasting with Graph
Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。
グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。
提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文 参考訳(メタデータ) (2020-05-24T04:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。