論文の概要: NuwaTS: a Foundation Model Mending Every Incomplete Time Series

• arxiv url: http://arxiv.org/abs/2405.15317v3
• Date: Wed, 02 Oct 2024 14:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:03.285008
• Title: NuwaTS: a Foundation Model Mending Every Incomplete Time Series
• Title（参考訳）: NuwaTS:不完全な時系列をまとめるファウンデーションモデル
• Authors: Jinguo Cheng, Chunwei Yang, Wanlin Cai, Yuxuan Liang, Qingsong Wen, Yuankai Wu,
• Abstract要約: textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
• 参考スコア（独自算出の注目度）: 24.768755438620666
• License:
• Abstract: Time series imputation is critical for many real-world applications and has been widely studied. However, existing models often require specialized designs tailored to specific missing patterns, variables, or domains which limits their generalizability. In addition, current evaluation frameworks primarily focus on domain-specific tasks and often rely on time-wise train/validation/test data splits, which fail to rigorously assess a model's ability to generalize across unseen variables or domains. In this paper, we present \textbf{NuwaTS}, a novel framework that repurposes Pre-trained Language Models (PLMs) for general time series imputation. Once trained, NuwaTS can be applied to impute missing data across any domain. We introduce specialized embeddings for each sub-series patch, capturing information about the patch, its missing data patterns, and its statistical characteristics. By combining contrastive learning with the imputation task, we train PLMs to create a versatile, one-for-all imputation model. Additionally, we employ a plug-and-play fine-tuning approach, enabling efficient adaptation to domain-specific tasks with minimal adjustments. To evaluate cross-variable and cross-domain generalization, we propose a new benchmarking protocol that partitions the datasets along the variable dimension. Experimental results on over seventeen million time series samples from diverse domains demonstrate that NuwaTS outperforms state-of-the-art domain-specific models across various datasets under the proposed benchmarking protocol. Furthermore, we show that NuwaTS generalizes to other time series tasks, such as forecasting. Our codes are available at https://github.com/Chengyui/NuwaTS.
• Abstract（参考訳）: 時系列計算は多くの実世界の応用において重要であり、広く研究されている。 しかし、既存のモデルは、特定の欠落パターン、変数、あるいはそれらの一般化性を制限する領域に合わせた特別な設計を必要とすることが多い。 さらに、現在の評価フレームワークはドメイン固有のタスクに重点を置いており、しばしばタイムワイドなトレイン/バリデーション/テストのデータ分割に依存している。 本稿では,プレトレーニング言語モデル (PLM) を一般時系列計算に応用した新しいフレームワークである \textbf{NuwaTS} を提案する。 トレーニングが完了すると、NuwaTSを適用して、任意のドメインにまたがる欠落したデータをインプットすることが可能になる。 本稿では,各サブシリーズのパッチに対する特別な埋め込みを導入し,パッチに関する情報,データパターンの欠如,統計特性について報告する。 コントラスト学習と計算課題を組み合わせることで,PLMをトレーニングし,汎用的で一対一な計算モデルを作成する。 さらに、我々は最小限の調整でドメイン固有のタスクに効率的に適応できるプラグイン・アンド・プレイの微調整手法を採用した。 クロス変数およびクロスドメインの一般化を評価するため、可変次元に沿ってデータセットを分割する新しいベンチマークプロトコルを提案する。 様々な領域からの1700万以上の時系列サンプルに対する実験結果から、NuwaTSは、提案されたベンチマークプロトコルの下で、様々なデータセットにわたる最先端のドメイン固有モデルより優れていることが示された。 さらに,NuwaTSが予測などの他の時系列タスクに一般化していることを示す。 私たちのコードはhttps://github.com/Chengyui/NuwaTS.comで公開されています。

関連論文リスト

• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  一般時系列解析のためのオープンモデルであるOTiSを紹介する。 本稿では,学習可能なドメイン固有シグネチャを持つトークンマイザを含む,新しい事前学習パラダイムを提案する。 我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• UNITS: A Unified Multi-Task Time Series Model [31.675845788410246]
  タスクトークン化を用いたマルチタスク時系列モデルUniTSを導入し,予測および生成タスクを単一モデル内で表現する。 人間の活動センサー、医療、エンジニアリング、ファイナンスドメインにまたがる38のデータセットに対して、UniTSモデルは12の予測モデル、20の分類モデル、18の異常検出モデル、16の計算モデルに対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-02-29T21:25:58Z)
• TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis [32.854449155765344]
  本稿では,自己教師型で学習した離散ベクトル化表現を用いて,様々な領域からの時系列データを埋め込んだ簡易なトークン化アーキテクチャを提案する。 3つのタスクにわたる17のリアルタイム時系列データセットに対して,TOTEMの有効性を広範囲に評価して検討した。
  論文  参考訳（メタデータ） (2024-02-26T09:11:12Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Learning to Generalize across Domains on Single Test Samples [126.9447368941314]
  単体テストサンプルでドメインをまたいで一般化することを学ぶ。 変分ベイズ推論問題として単検体への適応を定式化する。 我々のモデルは、ドメインの一般化のための複数のベンチマークにおいて、最先端のメソッドよりも少なくとも同等で、より優れたパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2022-02-16T13:21:04Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。