Fugu-MT 論文翻訳(概要): UniCL: A Universal Contrastive Learning Framework for Large Time Series Models

論文の概要: UniCL: A Universal Contrastive Learning Framework for Large Time Series Models

arxiv url: http://arxiv.org/abs/2405.10597v1
Date: Fri, 17 May 2024 07:47:11 GMT
ステータス: 処理完了
システム内更新日: 2024-05-20 16:42:27.407994
Title: UniCL: A Universal Contrastive Learning Framework for Large Time Series Models
Title（参考訳）: UniCL: 大規模時系列モデルのためのユニバーサルコントラスト学習フレームワーク
Authors: Jiawei Li, Jingshu Peng, Haoyang Li, Lei Chen,
Abstract要約: 時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
参考スコア（独自算出の注目度）: 18.005358506435847
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Time-series analysis plays a pivotal role across a range of critical applications, from finance to healthcare, which involves various tasks, such as forecasting and classification. To handle the inherent complexities of time-series data, such as high dimensionality and noise, traditional supervised learning methods first annotate extensive labels for time-series data in each task, which is very costly and impractical in real-world applications. In contrast, pre-trained foundation models offer a promising alternative by leveraging unlabeled data to capture general time series patterns, which can then be fine-tuned for specific tasks. However, existing approaches to pre-training such models typically suffer from high-bias and low-generality issues due to the use of predefined and rigid augmentation operations and domain-specific data training. To overcome these limitations, this paper introduces UniCL, a universal and scalable contrastive learning framework designed for pretraining time-series foundation models across cross-domain datasets. Specifically, we propose a unified and trainable time-series augmentation operation to generate pattern-preserved, diverse, and low-bias time-series data by leveraging spectral information. Besides, we introduce a scalable augmentation algorithm capable of handling datasets with varying lengths, facilitating cross-domain pretraining. Extensive experiments on two benchmark datasets across eleven domains validate the effectiveness of UniCL, demonstrating its high generalization on time-series analysis across various fields.
Abstract（参考訳）: 時系列分析は、ファイナンスから医療まで、予測や分類といった様々なタスクを含む様々な重要なアプリケーションにおいて重要な役割を担っている。高次元性やノイズなどの時系列データの本質的な複雑さに対処するため、従来の教師付き学習手法では、まず各タスクにおける時系列データの広範なラベルを注釈付けする。対照的に、事前訓練された基礎モデルは、ラベルのないデータを利用して一般的な時系列パターンをキャプチャすることで、有望な代替手段を提供する。しかしながら、そのようなモデルを事前訓練する既存のアプローチは、事前定義された厳密な拡張操作とドメイン固有のデータトレーニングを使用することによって、通常、高バイアスと低汎用性の問題に悩まされる。この制限を克服するために,ドメイン間データセット間の時系列基盤モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。具体的には、スペクトル情報を活用することにより、パターン保存、多様性、低バイアスの時系列データを生成するために、統一的で訓練可能な時系列拡張操作を提案する。さらに、さまざまな長さのデータセットを扱えるスケーラブルな拡張アルゴリズムを導入し、ドメイン間の事前トレーニングを容易にする。 11領域にわたる2つのベンチマークデータセットの大規模な実験により、UniCLの有効性が検証され、様々な分野にわたる時系列解析に高い一般化が示された。

関連論文リスト

General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
論文参考訳（メタデータ） (2025-02-05T15:20:04Z)
Federated Foundation Models on Heterogeneous Time Series [36.229082478423585]
主な目的は、Transformerアーキテクチャ上でモデルをトレーニングするためのトークンとして共有サブシーケンスを抽出するために、ドメイン間の時系列データセットを融合することである。本稿では,時系列基礎モデルトレーニング(FFTS)における不均一性に対処する新しいフェデレーション学習手法を提案する。新たに学習された時系列基礎モデルは、予測、計算、異常検出を含むクロスドメイン時系列解析タスクにおいて優れた一般化能力を達成する。
論文参考訳（メタデータ） (2024-12-12T03:38:01Z)
Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
論文参考訳（メタデータ） (2024-10-09T17:09:30Z)
Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
時系列データは、現実世界のシナリオにおいて非常に重要である。近年、時系列コミュニティで顕著なブレークスルーが見られた。多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
論文参考訳（メタデータ） (2024-07-18T08:31:55Z)
Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
論文参考訳（メタデータ） (2024-06-20T07:09:19Z)
NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
論文参考訳（メタデータ） (2024-05-24T07:59:02Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
Large Pre-trained Time-Series Models (LPTM) は、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する適応セグメンテーションの新しい手法である。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。
論文参考訳（メタデータ） (2023-11-19T20:16:16Z)
UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文参考訳（メタデータ） (2023-10-15T06:30:22Z)
Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文参考訳（メタデータ） (2023-10-08T08:09:51Z)
Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
論文参考訳（メタデータ） (2022-04-07T14:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。