論文の概要: NuwaTS: a Foundation Model Mending Every Incomplete Time Series

• arxiv url: http://arxiv.org/abs/2405.15317v3
• Date: Wed, 02 Oct 2024 14:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:03.285008
• Title: NuwaTS: a Foundation Model Mending Every Incomplete Time Series
• Title（参考訳）: NuwaTS:不完全な時系列をまとめるファウンデーションモデル
• Authors: Jinguo Cheng, Chunwei Yang, Wanlin Cai, Yuxuan Liang, Qingsong Wen, Yuankai Wu,
• Abstract要約: textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
• 参考スコア（独自算出の注目度）: 24.768755438620666
• License:
• Abstract: Time series imputation is critical for many real-world applications and has been widely studied. However, existing models often require specialized designs tailored to specific missing patterns, variables, or domains which limits their generalizability. In addition, current evaluation frameworks primarily focus on domain-specific tasks and often rely on time-wise train/validation/test data splits, which fail to rigorously assess a model's ability to generalize across unseen variables or domains. In this paper, we present \textbf{NuwaTS}, a novel framework that repurposes Pre-trained Language Models (PLMs) for general time series imputation. Once trained, NuwaTS can be applied to impute missing data across any domain. We introduce specialized embeddings for each sub-series patch, capturing information about the patch, its missing data patterns, and its statistical characteristics. By combining contrastive learning with the imputation task, we train PLMs to create a versatile, one-for-all imputation model. Additionally, we employ a plug-and-play fine-tuning approach, enabling efficient adaptation to domain-specific tasks with minimal adjustments. To evaluate cross-variable and cross-domain generalization, we propose a new benchmarking protocol that partitions the datasets along the variable dimension. Experimental results on over seventeen million time series samples from diverse domains demonstrate that NuwaTS outperforms state-of-the-art domain-specific models across various datasets under the proposed benchmarking protocol. Furthermore, we show that NuwaTS generalizes to other time series tasks, such as forecasting. Our codes are available at https://github.com/Chengyui/NuwaTS.
• Abstract（参考訳）: 時系列計算は多くの実世界の応用において重要であり、広く研究されている。 しかし、既存のモデルは、特定の欠落パターン、変数、あるいはそれらの一般化性を制限する領域に合わせた特別な設計を必要とすることが多い。 さらに、現在の評価フレームワークはドメイン固有のタスクに重点を置いており、しばしばタイムワイドなトレイン/バリデーション/テストのデータ分割に依存している。 本稿では,プレトレーニング言語モデル (PLM) を一般時系列計算に応用した新しいフレームワークである \textbf{NuwaTS} を提案する。 トレーニングが完了すると、NuwaTSを適用して、任意のドメインにまたがる欠落したデータをインプットすることが可能になる。 本稿では,各サブシリーズのパッチに対する特別な埋め込みを導入し,パッチに関する情報,データパターンの欠如,統計特性について報告する。 コントラスト学習と計算課題を組み合わせることで,PLMをトレーニングし,汎用的で一対一な計算モデルを作成する。 さらに、我々は最小限の調整でドメイン固有のタスクに効率的に適応できるプラグイン・アンド・プレイの微調整手法を採用した。 クロス変数およびクロスドメインの一般化を評価するため、可変次元に沿ってデータセットを分割する新しいベンチマークプロトコルを提案する。 様々な領域からの1700万以上の時系列サンプルに対する実験結果から、NuwaTSは、提案されたベンチマークプロトコルの下で、様々なデータセットにわたる最先端のドメイン固有モデルより優れていることが示された。 さらに,NuwaTSが予測などの他の時系列タスクに一般化していることを示す。 私たちのコードはhttps://github.com/Chengyui/NuwaTS.comで公開されています。

関連論文リスト

• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• Federated Foundation Models on Heterogeneous Time Series [36.229082478423585]
  主な目的は、Transformerアーキテクチャ上でモデルをトレーニングするためのトークンとして共有サブシーケンスを抽出するために、ドメイン間の時系列データセットを融合することである。 本稿では,時系列基礎モデルトレーニング(FFTS)における不均一性に対処する新しいフェデレーション学習手法を提案する。 新たに学習された時系列基礎モデルは、予測、計算、異常検出を含むクロスドメイン時系列解析タスクにおいて優れた一般化能力を達成する。
  論文  参考訳（メタデータ） (2024-12-12T03:38:01Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis [29.232543319667005]
  この研究は、一般(または基礎)モデルを用いた時系列解析の問題を研究する。 自己スーパービジョンを用いて、無数のデータセットから得られた時系列データを離散的にトークン化する簡単な方法を検討する。 本稿では,Tokenized Time Series EMbeddings (TOTEM) を用いて,極小ないし無小の時系列モデルを生成する。
  論文  参考訳（メタデータ） (2024-02-26T09:11:12Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  Large Pre-trained Time-Series Models (LPTM) は、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する適応セグメンテーションの新しい手法である。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Learning to Generalize across Domains on Single Test Samples [126.9447368941314]
  単体テストサンプルでドメインをまたいで一般化することを学ぶ。 変分ベイズ推論問題として単検体への適応を定式化する。 我々のモデルは、ドメインの一般化のための複数のベンチマークにおいて、最先端のメソッドよりも少なくとも同等で、より優れたパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2022-02-16T13:21:04Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。