Fugu-MT 論文翻訳(概要): UniCL: A Universal Contrastive Learning Framework for Large Time Series Models

論文の概要: UniCL: A Universal Contrastive Learning Framework for Large Time Series Models

arxiv url: http://arxiv.org/abs/2405.10597v1
Date: Fri, 17 May 2024 07:47:11 GMT
ステータス: 処理完了
システム内更新日: 2024-05-20 16:42:27.407994
Title: UniCL: A Universal Contrastive Learning Framework for Large Time Series Models
Title（参考訳）: UniCL: 大規模時系列モデルのためのユニバーサルコントラスト学習フレームワーク
Authors: Jiawei Li, Jingshu Peng, Haoyang Li, Lei Chen,
Abstract要約: 時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
参考スコア（独自算出の注目度）: 18.005358506435847
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Time-series analysis plays a pivotal role across a range of critical applications, from finance to healthcare, which involves various tasks, such as forecasting and classification. To handle the inherent complexities of time-series data, such as high dimensionality and noise, traditional supervised learning methods first annotate extensive labels for time-series data in each task, which is very costly and impractical in real-world applications. In contrast, pre-trained foundation models offer a promising alternative by leveraging unlabeled data to capture general time series patterns, which can then be fine-tuned for specific tasks. However, existing approaches to pre-training such models typically suffer from high-bias and low-generality issues due to the use of predefined and rigid augmentation operations and domain-specific data training. To overcome these limitations, this paper introduces UniCL, a universal and scalable contrastive learning framework designed for pretraining time-series foundation models across cross-domain datasets. Specifically, we propose a unified and trainable time-series augmentation operation to generate pattern-preserved, diverse, and low-bias time-series data by leveraging spectral information. Besides, we introduce a scalable augmentation algorithm capable of handling datasets with varying lengths, facilitating cross-domain pretraining. Extensive experiments on two benchmark datasets across eleven domains validate the effectiveness of UniCL, demonstrating its high generalization on time-series analysis across various fields.
Abstract（参考訳）: 時系列分析は、ファイナンスから医療まで、予測や分類といった様々なタスクを含む様々な重要なアプリケーションにおいて重要な役割を担っている。高次元性やノイズなどの時系列データの本質的な複雑さに対処するため、従来の教師付き学習手法では、まず各タスクにおける時系列データの広範なラベルを注釈付けする。対照的に、事前訓練された基礎モデルは、ラベルのないデータを利用して一般的な時系列パターンをキャプチャすることで、有望な代替手段を提供する。しかしながら、そのようなモデルを事前訓練する既存のアプローチは、事前定義された厳密な拡張操作とドメイン固有のデータトレーニングを使用することによって、通常、高バイアスと低汎用性の問題に悩まされる。この制限を克服するために,ドメイン間データセット間の時系列基盤モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。具体的には、スペクトル情報を活用することにより、パターン保存、多様性、低バイアスの時系列データを生成するために、統一的で訓練可能な時系列拡張操作を提案する。さらに、さまざまな長さのデータセットを扱えるスケーラブルな拡張アルゴリズムを導入し、ドメイン間の事前トレーニングを容易にする。 11領域にわたる2つのベンチマークデータセットの大規模な実験により、UniCLの有効性が検証され、様々な分野にわたる時系列解析に高い一般化が示された。

関連論文リスト

Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文参考訳（メタデータ） (2024-11-24T04:56:45Z)
Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
時系列データは、現実世界のシナリオにおいて非常に重要である。近年、時系列コミュニティで顕著なブレークスルーが見られた。多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
論文参考訳（メタデータ） (2024-07-18T08:31:55Z)
Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
論文参考訳（メタデータ） (2024-06-20T07:09:19Z)
NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
論文参考訳（メタデータ） (2024-05-24T07:59:02Z)
ROSE: Register Assisted General Time Series Forecasting with Decomposed Frequency Learning [17.734609093955374]
分解周波数学習(ROSE)を用いた登録型汎用時系列予測モデルを提案する。 ROSEは事前学習タスクに分解周波数学習を採用し、周波数ベースのマスキングと再構成による時系列における意味情報と周期情報を分解し、ドメイン間の統一表現を得る。大規模時系列データを事前トレーニングした後、ROSEは8つの実世界のベンチマークで最先端の予測性能を達成する。
論文参考訳（メタデータ） (2024-05-24T06:01:09Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
論文参考訳（メタデータ） (2023-11-19T20:16:16Z)
UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文参考訳（メタデータ） (2023-10-15T06:30:22Z)
Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文参考訳（メタデータ） (2023-10-08T08:09:51Z)
Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
論文参考訳（メタデータ） (2022-04-07T14:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。