論文の概要: Time Series Representation Learning with Supervised Contrastive Temporal Transformer

• arxiv url: http://arxiv.org/abs/2403.10787v1
• Date: Sat, 16 Mar 2024 03:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-19 21:45:00.602926
• Title: Time Series Representation Learning with Supervised Contrastive Temporal Transformer
• Title（参考訳）: コントラスト変換器を改良した時系列表現学習
• Authors: Yuansan Liu, Sudanthi Wijewickrema, Christofer Bester, Stephen O'Leary, James Bailey,
• Abstract要約: textbf Supervised textbfCOntrastive textbfTemporal textbfTransformer (SCOTT) まず,変化不変表現の学習を支援するために,様々な時系列データに対する適切な拡張手法について検討する。
• 参考スコア（独自算出の注目度）: 8.223940676615857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding effective representations for time series data is a useful but challenging task. Several works utilize self-supervised or unsupervised learning methods to address this. However, there still remains the open question of how to leverage available label information for better representations. To answer this question, we exploit pre-existing techniques in time series and representation learning domains and develop a simple, yet novel fusion model, called: \textbf{S}upervised \textbf{CO}ntrastive \textbf{T}emporal \textbf{T}ransformer (SCOTT). We first investigate suitable augmentation methods for various types of time series data to assist with learning change-invariant representations. Secondly, we combine Transformer and Temporal Convolutional Networks in a simple way to efficiently learn both global and local features. Finally, we simplify Supervised Contrastive Loss for representation learning of labelled time series data. We preliminarily evaluate SCOTT on a downstream task, Time Series Classification, using 45 datasets from the UCR archive. The results show that with the representations learnt by SCOTT, even a weak classifier can perform similar to or better than existing state-of-the-art models (best performance on 23/45 datasets and highest rank against 9 baseline models). Afterwards, we investigate SCOTT's ability to address a real-world task, online Change Point Detection (CPD), on two datasets: a human activity dataset and a surgical patient dataset. We show that the model performs with high reliability and efficiency on the online CPD problem ($\sim$98\% and $\sim$97\% area under precision-recall curve respectively). Furthermore, we demonstrate the model's potential in tackling early detection and show it performs best compared to other candidates.
• Abstract（参考訳）: 時系列データの効果的な表現を見つけることは有用だが難しい作業である。 いくつかの研究では、この問題に対処するために自己教師なしまたは教師なしの学習手法を利用している。 しかし、より優れた表現のために利用可能なラベル情報をどのように活用するかについては、まだ未解決のままである。 この質問に答えるために、時系列および表現学習領域における既存の技術を活用し、単純な新しい融合モデルを開発した: \textbf{S}upervised \textbf{CO}ntrastive \textbf{T}emporal \textbf{T}ransformer (SCOTT)。 まず,変化不変表現の学習を支援するために,様々な時系列データに対する適切な拡張手法について検討する。 次に、TransformerとTemporal Convolutional Networksを組み合わせて、グローバル機能とローカル機能の両方を効率的に学習する。 最後に,ラベル付き時系列データの表現学習のために,Supervised Contrastive Lossを単純化する。 UCRアーカイブから45のデータセットを用いて,下流タスクである時系列分類におけるSCOTTの事前評価を行った。 その結果,SCOTTが学習した表現では,従来の最先端モデル(23/45データセットでは最高,9ベースラインモデルでは最高)よりも弱い分類器でも同等かそれ以上に動作可能であることがわかった。 その後、人間の活動データセットと外科的患者データセットの2つのデータセット上で、SCOTTが現実世界のタスクであるオンライン変化点検出(CPD)に対処する能力について検討した。 本モデルでは,オンラインCDD問題の信頼性と効率性(精度-リコール曲線下では,それぞれ$\sim$98\%,$\sim$97\%)を示す。 さらに,本モデルが早期検出に有効であることを示すとともに,他の候補と比較した性能を示す。

関連論文リスト

• T-Rep: Representation Learning for Time Series using Time-Embeddings [5.885238773559017]
  本稿では,時系列表現を時間ステップの粒度で学習する自己教師型T-Repを提案する。 T-Repはその特徴抽出器と共に時間のベクトル埋め込みを学び、時間的特徴を抽出する。 下流分類,予測,異常検出タスクにおけるT-Repの評価を行った。
  論文  参考訳（メタデータ） (2023-10-06T15:45:28Z)
• TCGAN: Convolutional Generative Adversarial Network for Time Series Classification and Clustering [3.2474405288441544]
  時系列畳み込みGAN(TCGAN)は、2つの1次元CNN間で逆ゲームを行うことで学習する。 その結果, TCGAN は既存の時系列 GAN よりも高速で精度が高いことがわかった。
  論文  参考訳（メタデータ） (2023-09-09T09:33:25Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。