論文の概要: NuwaTS: Mending Every Incomplete Time Series
- arxiv url: http://arxiv.org/abs/2405.15317v1
- Date: Fri, 24 May 2024 07:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 15:31:04.198479
- Title: NuwaTS: Mending Every Incomplete Time Series
- Title(参考訳): NuwaTS:不完全な時系列を全て保存する
- Authors: Jinguo Cheng, Chunwei Yang, Wanlin Cai, Yuxuan Liang, Yuankai Wu,
- Abstract要約: 時系列計算のための言語訓練フレームワークであるNuwaTSを紹介する。
NuwaTSは、欠落したパターンを持つ任意のドメインからの不完全な時系列上の計算タスクに適用することができる。
既存のドメイン固有モデルよりも優れた1対全計算モデルを得る。
- 参考スコア(独自算出の注目度): 13.40366029542378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series imputation plays a crucial role in various real-world systems and has been extensively explored. Models for time series imputation often require specialization, necessitating distinct designs for different domains and missing patterns. In this study, we introduce NuwaTS, a framework to repurpose Pre-trained Language Model (PLM) for general time series imputation. Once trained, this model can be applied to imputation tasks on incomplete time series from any domain with any missing patterns. We begin by devising specific embeddings for each sub-series patch of the incomplete time series. These embeddings encapsulate information about the patch itself, the missing data patterns within the patch, and the patch's statistical characteristics. To enhance the model's adaptability to different missing patterns, we propose a contrastive learning approach to make representations of the same patch more similar across different missing patterns. By combining this contrastive loss with the missing data imputation task, we train PLMs to obtain a one-for-all imputation model. Furthermore, we utilize a plug-and-play layer-wise fine-tuning approach to train domain-specific models. Experimental results demonstrate that leveraging a dataset of over seventeen million time series from diverse domains, we obtain a one-for-all imputation model which outperforms existing domain-specific models across various datasets and missing patterns. Additionally, we find that NuwaTS can be generalized to other time series tasks such as forecasting. Our codes are available at https://github.com/Chengyui/NuwaTS.
- Abstract(参考訳): 時系列計算は様々な現実世界のシステムにおいて重要な役割を担い、広く研究されてきた。
時系列計算のモデルは、しばしば特殊化を必要とし、異なるドメインに対する異なる設計と欠落パターンを必要とする。
本研究では,プレトレーニング言語モデル(PLM)を一般化した時系列計算のためのフレームワークであるNuwaTSを紹介する。
トレーニングが完了すると、このモデルは、欠落したパターンを持つ任意のドメインからの不完全な時系列上の計算タスクに適用することができる。
まず、不完全時系列の各サブシリーズパッチに対する特定の埋め込みを考案する。
これらの埋め込みは、パッチ自体、パッチ内の欠落したデータパターン、およびパッチの統計特性に関する情報をカプセル化する。
異なる欠落パターンに対するモデルの適応性を高めるために、異なる欠落パターン間で同じパッチの表現をより類似させる対照的な学習手法を提案する。
この対照的な損失と、欠落したデータ計算タスクを組み合わせることで、PLMを訓練して1対1の計算モデルを得る。
さらに,プラグ・アンド・プレイ方式を用いてドメイン固有モデルの学習を行う。
実験の結果,様々な領域から1700万以上の時系列のデータセットを活用することで,既存のドメイン固有モデルよりも優れた1対1の計算モデルが得られた。
また,NuwaTSは予測などの他の時系列タスクにも一般化可能であることがわかった。
私たちのコードはhttps://github.com/Chengyui/NuwaTS.comで公開されています。
関連論文リスト
- FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting [44.33565276128137]
時系列予測(TSF)は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能である。
ファンデーションモデルは、新しいまたは見えないデータで有望な推論機能を示す。
そこで我々は,そのようなモデルの徹底的かつ公平な評価と比較を可能にする新しいベンチマーク FoundTS を提案する。
論文 参考訳(メタデータ) (2024-10-15T17:23:49Z) - Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
一般時系列解析のためのオープンモデルであるOTiSを紹介する。
本稿では,学習可能なドメイン固有シグネチャを持つトークンマイザを含む,新しい事前学習パラダイムを提案する。
我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されている。
論文 参考訳(メタデータ) (2024-10-09T17:09:30Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。
従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。
本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文 参考訳(メタデータ) (2024-05-17T07:47:11Z) - TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis [32.854449155765344]
本稿では,自己教師型で学習した離散ベクトル化表現を用いて,様々な領域からの時系列データを埋め込んだ簡易なトークン化アーキテクチャを提案する。
3つのタスクにわたる17のリアルタイム時系列データセットに対して,TOTEMの有効性を広範囲に評価して検討した。
論文 参考訳(メタデータ) (2024-02-26T09:11:12Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。
これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
論文 参考訳(メタデータ) (2023-11-19T20:16:16Z) - Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。
TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。
本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-28T20:42:47Z) - UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series
Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。
効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。
効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文 参考訳(メタデータ) (2023-10-15T06:30:22Z) - Learning to Generalize across Domains on Single Test Samples [126.9447368941314]
単体テストサンプルでドメインをまたいで一般化することを学ぶ。
変分ベイズ推論問題として単検体への適応を定式化する。
我々のモデルは、ドメインの一般化のための複数のベンチマークにおいて、最先端のメソッドよりも少なくとも同等で、より優れたパフォーマンスを達成します。
論文 参考訳(メタデータ) (2022-02-16T13:21:04Z) - Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。
本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。
我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
論文 参考訳(メタデータ) (2020-10-07T11:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。