論文の概要: Learning Transferable Time Series Classifier with Cross-Domain Pre-training from Language Model
- arxiv url: http://arxiv.org/abs/2403.12372v1
- Date: Tue, 19 Mar 2024 02:32:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 15:41:42.554824
- Title: Learning Transferable Time Series Classifier with Cross-Domain Pre-training from Language Model
- Title(参考訳): 言語モデルからのクロスドメイン事前学習による移動可能時系列分類器の学習
- Authors: Mingyue Cheng, Xiaoyu Tao, Qi Liu, Hao Zhang, Yiheng Chen, Chenyi Lei,
- Abstract要約: CrossTimeNetは、さまざまなドメインから転送可能な知識を学ぶための、新しいクロスドメインSSL学習フレームワークである。
CrossTimeNetの重要な特徴の1つは、新しく設計された時系列トークン化モジュールである。
我々は、様々な時系列分類領域にわたる実世界のシナリオにおいて広範な実験を行う。
- 参考スコア(独自算出の注目度): 16.111833380226184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advancements in self-supervised pre-training (SSL) have significantly advanced the field of learning transferable time series representations, which can be very useful in enhancing the downstream task. Despite being effective, most existing works struggle to achieve cross-domain SSL pre-training, missing valuable opportunities to integrate patterns and features from different domains. The main challenge lies in the significant differences in the characteristics of time-series data across different domains, such as variations in the number of channels and temporal resolution scales. To address this challenge, we propose CrossTimeNet, a novel cross-domain SSL learning framework to learn transferable knowledge from various domains to largely benefit the target downstream task. One of the key characteristics of CrossTimeNet is the newly designed time series tokenization module, which could effectively convert the raw time series into a sequence of discrete tokens based on a reconstruction optimization process. Besides, we highlight that predicting a high proportion of corrupted tokens can be very helpful for extracting informative patterns across different domains during SSL pre-training, which has been largely overlooked in past years. Furthermore, unlike previous works, our work treats the pre-training language model (PLM) as the initialization of the encoder network, investigating the feasibility of transferring the knowledge learned by the PLM to the time series area. Through these efforts, the path to cross-domain pre-training of a generic time series model can be effectively paved. We conduct extensive experiments in a real-world scenario across various time series classification domains. The experimental results clearly confirm CrossTimeNet's superior performance.
- Abstract(参考訳): 自己教師付き事前訓練(SSL)の進歩は、下流タスクの強化に非常に有用である、転送可能な時系列表現の学習分野を著しく進歩させてきた。
効果的であるにもかかわらず、既存のほとんどの作業は、クロスドメインSSL事前トレーニングを達成するのに苦労し、異なるドメインのパターンや機能を統合する貴重な機会を欠いている。
主な課題は、チャンネル数や時間分解能尺度の変動など、異なる領域にわたる時系列データの特徴の顕著な違いにある。
この課題に対処するために、さまざまなドメインから転送可能な知識を学習し、ターゲットの下流タスクに大きく貢献するクロスドメインSSL学習フレームワークであるCrossTimeNetを提案する。
CrossTimeNetの重要な特徴の1つは、新しく設計された時系列トークン化モジュールである。
さらに,SSL事前トレーニング中に複数のドメインにまたがる情報パターンの抽出には,高頻度の不正トークンの予測が極めて有用であることも強調した。
さらに,本研究では,先行学習言語モデル(PLM)をエンコーダネットワークの初期化として扱い,PLMが学習した知識を時系列領域に転送する可能性について検討した。
これらの取り組みを通じて、ジェネリック時系列モデルのクロスドメイン事前学習へのパスを効果的に舗装することができる。
我々は、様々な時系列分類領域にわたる実世界のシナリオにおいて広範な実験を行う。
実験の結果、CrossTimeNetの優れたパフォーマンスが明確に確認された。
関連論文リスト
- Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [70.38241681764738]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - FusDom: Combining In-Domain and Out-of-Domain Knowledge for Continuous
Self-Supervised Learning [54.9235160379917]
FusDomはSSLベースの継続事前トレーニングのためのシンプルで斬新な方法論である。
FusDomは、過去に見られる概念を忘れずに頑健で適応的な表現を学ぶ。
論文 参考訳(メタデータ) (2023-12-20T13:50:05Z) - UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series
Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。
効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。
効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文 参考訳(メタデータ) (2023-10-15T06:30:22Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。
この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
論文 参考訳(メタデータ) (2023-06-16T18:23:10Z) - Contrastive Shapelet Learning for Unsupervised Multivariate Time Series
Representation Learning [21.437162740349045]
教師なし表現学習(URL)は、アクセス不能なラベルを使わずに、多くの下流タスクの一般化可能な表現を学習する能力を持つ。
本稿では,一般的なコントラスト学習パラダイムを通じて時系列固有のシェープレットに基づく表現を学習し,新しいURLフレームワークを提案する。
統一型シェープレットベースのエンコーダと,マルチグレードコントラストとマルチスケールアライメントを備えた新しい学習目標が,目的達成のために特に設計されている。
論文 参考訳(メタデータ) (2023-05-30T09:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。