論文の概要: General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data

• arxiv url: http://arxiv.org/abs/2502.03264v1
• Date: Wed, 05 Feb 2025 15:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 16:28:51.145001
• Title: General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data
• Title（参考訳）: 多変量時系列データの普遍的知識表現のための一般時系列モデル
• Authors: Cheng He, Xu Huang, Gangwei Jiang, Zhaoyi Li, Defu Lian, Hong Xie, Enhong Chen, Xijie Liang, Zengrong Zheng,
• Abstract要約: 周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
• 参考スコア（独自算出の注目度）: 61.163542597764796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal knowledge representation is a central problem for multivariate time series(MTS) foundation models and yet remains open. This paper investigates this problem from the first principle and it makes four folds of contributions. First, a new empirical finding is revealed: time series with different time granularities (or corresponding frequency resolutions) exhibit distinct joint distributions in the frequency domain. This implies a crucial aspect of learning universal knowledge, one that has been overlooked by previous studies. Second, a novel Fourier knowledge attention mechanism is proposed to enable learning time granularity-aware representations from both the temporal and frequency domains. Third, an autoregressive blank infilling pre-training framework is incorporated to time series analysis for the first time, leading to a generative tasks agnostic pre-training strategy. To this end, we develop the General Time-series Model (GTM), a unified MTS foundation model that addresses the limitation of contemporary time series models, which often require token, pre-training, or model-level customizations for downstream tasks adaption. Fourth, extensive experiments show that GTM outperforms state-of-the-art (SOTA) methods across all generative tasks, including long-term forecasting, anomaly detection, and imputation.
• Abstract（参考訳）: 普遍知識表現は多変量時系列(MTS)基礎モデルの中心的な問題であり、まだ未解決である。 本論では, この問題を第一原理から検討し, 4つのコントリビューションを行う。 まず、異なる時間粒度(または対応する周波数分解能)の時系列は周波数領域の異なる関節分布を示す。 これは、これまでの研究で見過ごされた普遍的な知識を学ぶ上で重要な側面であることを示している。 第2に、時間領域と周波数領域の両方から学習時間粒度を認識できる新しいFourierナレッジアテンション機構を提案する。 第3に、自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込んで、生成タスクが事前学習戦略に依存しないようにする。 この目的のために、下流タスク適応のためのトークン、事前学習、モデルレベルのカスタマイズを必要とする現代時系列モデルの制限に対処する統合MTS基盤モデルであるGeneral Time-Series Model(GTM)を開発した。 第4に、広範囲な実験により、GTMは、長期予測、異常検出、計算を含む全ての生成タスクにおいて、最先端のSOTA(State-of-the-art)手法より優れていることが示された。

関連論文リスト

• MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
  時系列予測は、周波数の異なる周期特性から導かれる。 マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。 主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T11:40:14Z)
• TimesBERT: A BERT-Style Foundation Model for Time Series Understanding [72.64824086839631]
  GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられている。 BERTスタイルのアーキテクチャは時系列理解のために完全にアンロックされていない。 時系列の汎用表現を学ぶために TimesBERT を設計する。 私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。
  論文  参考訳（メタデータ） (2025-02-28T17:14:44Z)
• FlexTSF: A Universal Forecasting Model for Time Series with Variable Regularities [17.164913785452367]
  我々は,より優れた一般化を持ち,正規時間と不規則時間の両方をサポートする普遍時系列予測モデルFlexTSFを提案する。 12のデータセットの実験では、FlexTSFは、それぞれ通常の時系列と不規則時系列のために設計された最先端の予測モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-30T16:14:09Z)
• TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis [17.09401448377127]
  時系列解析は多くのアプリケーションにおいて重要な役割を担い、予測、分類、異常検出、計算などのタスクをサポートする。 本研究では,高機能な表現とパターン抽出機能を通じて,幅広い時系列タスクを最適化するモデルである時系列パターンマシン(TSPM)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T14:06:53Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Foundation Models for Time Series Analysis: A Tutorial and Survey [70.43311272903334]
  ファンデーションモデル(FM)は、時系列分析のためのモデル設計のパラダイムを根本的に変えてきた。 本調査は,時系列解析のためのFMの概要を包括的かつ最新のものにすることを目的としている。
  論文  参考訳（メタデータ） (2024-03-21T10:08:37Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• CARLA: Self-supervised Contrastive Representation Learning for Time Series Anomaly Detection [53.83593870825628]
  時系列異常検出(TSAD)の主な課題は、多くの実生活シナリオにおいてラベル付きデータの欠如である。 既存の異常検出手法の多くは、教師なしの方法で非ラベル時系列の正常な振る舞いを学習することに焦点を当てている。 本稿では,時系列異常検出のためのエンドツーエンドの自己教師型コントラアスティブ表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T04:45:56Z)
• An Unsupervised Short- and Long-Term Mask Representation for Multivariate Time Series Anomaly Detection [2.387411589813086]
  本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。 実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T09:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。