論文の概要: NuwaTS: a Foundation Model Mending Every Incomplete Time Series

• arxiv url: http://arxiv.org/abs/2405.15317v2
• Date: Mon, 27 May 2024 16:01:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 02:49:28.270857
• Title: NuwaTS: a Foundation Model Mending Every Incomplete Time Series
• Title（参考訳）: NuwaTS:不完全な時系列をまとめるファウンデーションモデル
• Authors: Jinguo Cheng, Chunwei Yang, Wanlin Cai, Yuxuan Liang, Yuankai Wu,
• Abstract要約: 時系列計算のための言語訓練フレームワークであるNuwaTSを紹介する。 NuwaTSは、欠落したパターンを持つ任意のドメインからの不完全な時系列上の計算タスクに適用することができる。 既存のドメイン固有モデルよりも優れた1対全計算モデルを得る。
• 参考スコア（独自算出の注目度）: 13.40366029542378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series imputation plays a crucial role in various real-world systems and has been extensively explored. Models for time series imputation often require specialization, necessitating distinct designs for different domains and missing patterns. In this study, we introduce NuwaTS, a framework to repurpose Pre-trained Language Model (PLM) for general time series imputation. Once trained, this model can be applied to imputation tasks on incomplete time series from any domain with any missing patterns. We begin by devising specific embeddings for each sub-series patch of the incomplete time series. These embeddings encapsulate information about the patch itself, the missing data patterns within the patch, and the patch's statistical characteristics. To enhance the model's adaptability to different missing patterns, we propose a contrastive learning approach to make representations of the same patch more similar across different missing patterns. By combining this contrastive loss with the missing data imputation task, we train PLMs to obtain a one-for-all imputation model. Furthermore, we utilize a plug-and-play layer-wise fine-tuning approach to train domain-specific models. Experimental results demonstrate that leveraging a dataset of over seventeen million time series from diverse domains, we obtain a one-for-all imputation model which outperforms existing domain-specific models across various datasets and missing patterns. Additionally, we find that NuwaTS can be generalized to other time series tasks such as forecasting. Our codes are available at https://github.com/Chengyui/NuwaTS.
• Abstract（参考訳）: 時系列計算は様々な現実世界のシステムにおいて重要な役割を担い、広く研究されてきた。 時系列計算のモデルは、しばしば特殊化を必要とし、異なるドメインに対する異なる設計と欠落パターンを必要とする。 本研究では,プレトレーニング言語モデル(PLM)を一般化した時系列計算のためのフレームワークであるNuwaTSを紹介する。 トレーニングが完了すると、このモデルは、欠落したパターンを持つ任意のドメインからの不完全な時系列上の計算タスクに適用することができる。 まず、不完全時系列の各サブシリーズパッチに対する特定の埋め込みを考案する。 これらの埋め込みは、パッチ自体、パッチ内の欠落したデータパターン、およびパッチの統計特性に関する情報をカプセル化する。 異なる欠落パターンに対するモデルの適応性を高めるために、異なる欠落パターン間で同じパッチの表現をより類似させる対照的な学習手法を提案する。 この対照的な損失と、欠落したデータ計算タスクを組み合わせることで、PLMを訓練して1対1の計算モデルを得る。 さらに,プラグ・アンド・プレイ方式を用いてドメイン固有モデルの学習を行う。 実験の結果,様々な領域から1700万以上の時系列のデータセットを活用することで,既存のドメイン固有モデルよりも優れた1対1の計算モデルが得られた。 また,NuwaTSは予測などの他の時系列タスクにも一般化可能であることがわかった。 私たちのコードはhttps://github.com/Chengyui/NuwaTS.comで公開されています。

関連論文リスト

• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• Federated Foundation Models on Heterogeneous Time Series [36.229082478423585]
  主な目的は、Transformerアーキテクチャ上でモデルをトレーニングするためのトークンとして共有サブシーケンスを抽出するために、ドメイン間の時系列データセットを融合することである。 本稿では,時系列基礎モデルトレーニング(FFTS)における不均一性に対処する新しいフェデレーション学習手法を提案する。 新たに学習された時系列基礎モデルは、予測、計算、異常検出を含むクロスドメイン時系列解析タスクにおいて優れた一般化能力を達成する。
  論文  参考訳（メタデータ） (2024-12-12T03:38:01Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis [29.232543319667005]
  この研究は、一般(または基礎)モデルを用いた時系列解析の問題を研究する。 自己スーパービジョンを用いて、無数のデータセットから得られた時系列データを離散的にトークン化する簡単な方法を検討する。 本稿では,Tokenized Time Series EMbeddings (TOTEM) を用いて,極小ないし無小の時系列モデルを生成する。
  論文  参考訳（メタデータ） (2024-02-26T09:11:12Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  Large Pre-trained Time-Series Models (LPTM) は、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する適応セグメンテーションの新しい手法である。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Learning to Generalize across Domains on Single Test Samples [126.9447368941314]
  単体テストサンプルでドメインをまたいで一般化することを学ぶ。 変分ベイズ推論問題として単検体への適応を定式化する。 我々のモデルは、ドメインの一般化のための複数のベンチマークにおいて、最先端のメソッドよりも少なくとも同等で、より優れたパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2022-02-16T13:21:04Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。