論文の概要: TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning

• arxiv url: http://arxiv.org/abs/2312.15709v1
• Date: Mon, 25 Dec 2023 12:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 16:55:08.902494
• Title: TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning
• Title（参考訳）: TimesURL:Universal Time Series Representation Learningのための自己教師型コントラスト学習
• Authors: Jiexi Liu, Songcan Chen
• Abstract要約: 時系列表現に対処するために,TimesURL という新しい自己教師型フレームワークを提案する。 具体的には、時間的特性を一定に保つために、まず周波数時間に基づく拡張を導入する。 また、コントラスト学習を改善するために、特別なタイプのハードネガティブとしてダブルユニバーサムを構築します。
• 参考スコア（独自算出の注目度）: 31.458689807334228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning universal time series representations applicable to various types of downstream tasks is challenging but valuable in real applications. Recently, researchers have attempted to leverage the success of self-supervised contrastive learning (SSCL) in Computer Vision(CV) and Natural Language Processing(NLP) to tackle time series representation. Nevertheless, due to the special temporal characteristics, relying solely on empirical guidance from other domains may be ineffective for time series and difficult to adapt to multiple downstream tasks. To this end, we review three parts involved in SSCL including 1) designing augmentation methods for positive pairs, 2) constructing (hard) negative pairs, and 3) designing SSCL loss. For 1) and 2), we find that unsuitable positive and negative pair construction may introduce inappropriate inductive biases, which neither preserve temporal properties nor provide sufficient discriminative features. For 3), just exploring segment- or instance-level semantics information is not enough for learning universal representation. To remedy the above issues, we propose a novel self-supervised framework named TimesURL. Specifically, we first introduce a frequency-temporal-based augmentation to keep the temporal property unchanged. And then, we construct double Universums as a special kind of hard negative to guide better contrastive learning. Additionally, we introduce time reconstruction as a joint optimization objective with contrastive learning to capture both segment-level and instance-level information. As a result, TimesURL can learn high-quality universal representations and achieve state-of-the-art performance in 6 different downstream tasks, including short- and long-term forecasting, imputation, classification, anomaly detection and transfer learning.
• Abstract（参考訳）: 様々なダウンストリームタスクに適用可能なユニバーサル時系列表現の学習は困難だが、実際のアプリケーションでは有用である。 近年,コンピュータビジョン (CV) と自然言語処理 (NLP) における自己教師付きコントラスト学習 (SSCL) の成功を活用して時系列表現に取り組みつつある。 それにもかかわらず、特別な時間的特性のため、他のドメインからの経験的ガイダンスのみに依存することは、時系列に効果がなく、複数の下流タスクに適応するのが困難である。 この目的のために、SSCLを含む3つの部分についてレビューする。 1)正の対の増分法を設計すること。 2)(硬い)負の対の構築、及び 3)SSCL損失を設計する。 のために 1) と 2) 不適合な正と負のペア構成は不適切な帰納的バイアスをもたらす可能性があり, 時間的性質を保たず, 十分な判別的特徴も持たない。 3) セグメンテーションやインスタンスレベルのセマンティクス情報を探索するだけでは、普遍表現を学ぶには不十分です。 上記の課題を解決するために,TimesURL という新しい自己組織化フレームワークを提案する。 具体的には、時間的特性を一定に保つために、まず周波数時間に基づく拡張を導入する。 そして,2つの大学を,より対照的な学習を導くために,特殊な難易度として構築する。 さらに,セグメントレベル情報とインスタンスレベルの情報の両方をキャプチャするために,コントラスト学習と共同最適化の目的として時間再構成を導入する。 その結果、TimesURLは高品質な普遍表現を学習し、短期および長期予測、計算、分類、異常検出、転送学習を含む6種類の下流タスクで最先端のパフォーマンスを達成することができる。

関連論文リスト

• Dynamic Contrastive Learning for Time Series Representation [6.086030037869592]
  時系列の教師なしコントラスト表現学習フレームワークDynaCLを提案する。 DynaCLは時系列から意味のあるクラスタにインスタンスを埋め込みます。 また、教師なしクラスタリングメトリクスの高得点は、下流タスクにおいて表現が有用であることを保証していないことも明らかにした。
  論文  参考訳（メタデータ） (2024-10-20T15:20:24Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion [6.154427471704388]
  本稿では,双線形時間スペクトル融合(BTSF)という統合フレームワークを提案する。 具体的には、インスタンスレベルの拡張を時系列全体への単純なドロップアウトで利用し、長期的依存関係を最大限に捉えます。 時間-周波数ペアの親和性を明示的にエンコードするために、新しい反復性双線形時間-スペクトル融合を考案する。
  論文  参考訳（メタデータ） (2022-02-08T14:04:08Z)
• Exploring Temporal Granularity in Self-Supervised Video Representation Learning [99.02421058335533]
  本研究は,ビデオ表現学習における時間的グラニュラリティの探索を目的とした,TeGという自己教師型学習フレームワークを提案する。 TeGの柔軟性は、8つのビデオベンチマークで最先端の結果をもたらし、ほとんどの場合、教師付き事前トレーニングよりも優れています。
  論文  参考訳（メタデータ） (2021-12-08T18:58:42Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)
• SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning [114.58986229852489]
  本稿では,空間的,シーケンシャル,時間的観点から,シーケンスの基本的および汎用的な監視について検討する。 私たちはContrastive Learning(SeCo)という特定の形式を導き出します。 SeCoは、アクション認識、未トリムアクティビティ認識、オブジェクト追跡に関する線形プロトコルにおいて、優れた結果を示す。
  論文  参考訳（メタデータ） (2020-08-03T15:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。