論文の概要: General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data

• arxiv url: http://arxiv.org/abs/2502.03264v1
• Date: Wed, 05 Feb 2025 15:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:54.511803
• Title: General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data
• Title（参考訳）: 多変量時系列データの普遍的知識表現のための一般時系列モデル
• Authors: Cheng He, Xu Huang, Gangwei Jiang, Zhaoyi Li, Defu Lian, Hong Xie, Enhong Chen, Xijie Liang, Zengrong Zheng,
• Abstract要約: 周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
• 参考スコア（独自算出の注目度）: 61.163542597764796
• License:
• Abstract: Universal knowledge representation is a central problem for multivariate time series(MTS) foundation models and yet remains open. This paper investigates this problem from the first principle and it makes four folds of contributions. First, a new empirical finding is revealed: time series with different time granularities (or corresponding frequency resolutions) exhibit distinct joint distributions in the frequency domain. This implies a crucial aspect of learning universal knowledge, one that has been overlooked by previous studies. Second, a novel Fourier knowledge attention mechanism is proposed to enable learning time granularity-aware representations from both the temporal and frequency domains. Third, an autoregressive blank infilling pre-training framework is incorporated to time series analysis for the first time, leading to a generative tasks agnostic pre-training strategy. To this end, we develop the General Time-series Model (GTM), a unified MTS foundation model that addresses the limitation of contemporary time series models, which often require token, pre-training, or model-level customizations for downstream tasks adaption. Fourth, extensive experiments show that GTM outperforms state-of-the-art (SOTA) methods across all generative tasks, including long-term forecasting, anomaly detection, and imputation.
• Abstract（参考訳）: 普遍知識表現は多変量時系列(MTS)基礎モデルの中心的な問題であり、まだ未解決である。 本論では, この問題を第一原理から検討し, 4つのコントリビューションを行う。 まず、異なる時間粒度(または対応する周波数分解能)の時系列は周波数領域の異なる関節分布を示す。 これは、これまでの研究で見過ごされた普遍的な知識を学ぶ上で重要な側面であることを示している。 第2に、時間領域と周波数領域の両方から学習時間粒度を認識できる新しいFourierナレッジアテンション機構を提案する。 第3に、自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込んで、生成タスクが事前学習戦略に依存しないようにする。 この目的のために、下流タスク適応のためのトークン、事前学習、モデルレベルのカスタマイズを必要とする現代時系列モデルの制限に対処する統合MTS基盤モデルであるGeneral Time-Series Model(GTM)を開発した。 第4に、広範囲な実験により、GTMは、長期予測、異常検出、計算を含む全ての生成タスクにおいて、最先端のSOTA(State-of-the-art)手法より優れていることが示された。

関連論文リスト

• FlexTSF: A Universal Forecasting Model for Time Series with Variable Regularities [17.164913785452367]
  我々は,より優れた一般化を持ち,正規時間と不規則時間の両方をサポートする普遍時系列予測モデルFlexTSFを提案する。 12のデータセットの実験では、FlexTSFは、それぞれ通常の時系列と不規則時系列のために設計された最先端の予測モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-30T16:14:09Z)
• TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis [17.09401448377127]
  時系列解析は多くのアプリケーションにおいて重要な役割を担い、予測、分類、異常検出、計算などのタスクをサポートする。 本研究では,高機能な表現とパターン抽出機能を通じて,幅広い時系列タスクを最適化するモデルである時系列パターンマシン(TSPM)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T14:06:53Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Foundation Models for Time Series Analysis: A Tutorial and Survey [70.43311272903334]
  ファンデーションモデル(FM)は、時系列分析のためのモデル設計のパラダイムを根本的に変えてきた。 本調査は,時系列解析のためのFMの概要を包括的かつ最新のものにすることを目的としている。
  論文  参考訳（メタデータ） (2024-03-21T10:08:37Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• An Unsupervised Short- and Long-Term Mask Representation for Multivariate Time Series Anomaly Detection [2.387411589813086]
  本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。 実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T09:34:11Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。