論文の概要: Multi-Task Self-Supervised Time-Series Representation Learning

• arxiv url: http://arxiv.org/abs/2303.01034v1
• Date: Thu, 2 Mar 2023 07:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 15:32:15.594652
• Title: Multi-Task Self-Supervised Time-Series Representation Learning
• Title（参考訳）: マルチタスク自己監督型時系列表現学習
• Authors: Heejeong Choi, Pilsung Kang
• Abstract要約: 時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
• 参考スコア（独自算出の注目度）: 3.31490164885582
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Time-series representation learning can extract representations from data with temporal dynamics and sparse labels. When labeled data are sparse but unlabeled data are abundant, contrastive learning, i.e., a framework to learn a latent space where similar samples are close to each other while dissimilar ones are far from each other, has shown outstanding performance. This strategy can encourage varied consistency of time-series representations depending on the positive pair selection and contrastive loss. We propose a new time-series representation learning method by combining the advantages of self-supervised tasks related to contextual, temporal, and transformation consistency. It allows the network to learn general representations for various downstream tasks and domains. Specifically, we first adopt data preprocessing to generate positive and negative pairs for each self-supervised task. The model then performs contextual, temporal, and transformation contrastive learning and is optimized jointly using their contrastive losses. We further investigate an uncertainty weighting approach to enable effective multi-task learning by considering the contribution of each consistency. We evaluate the proposed framework on three downstream tasks: time-series classification, forecasting, and anomaly detection. Experimental results show that our method not only outperforms the benchmark models on these downstream tasks, but also shows efficiency in cross-domain transfer learning.
• Abstract（参考訳）: 時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 ラベル付きデータがスパースだがラベルなしのデータが豊富である場合、類似のサンプルが互いに近い潜在空間を学習するためのフレームワーク、すなわち、類似したデータが互いに遠く離れている場合、優れた性能を示す。 この戦略は、正のペア選択と対照的な損失に依存する時系列表現の異なる一貫性を促進することができる。 本稿では,文脈,時間,変換の整合性に関連する自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 これにより、ネットワークは様々な下流タスクやドメインの一般的な表現を学ぶことができる。 具体的には、まずデータ前処理を採用し、各自己監督タスクに対して正と負のペアを生成する。 このモデルは、文脈的、時間的、および変換的コントラスト学習を実行し、コントラスト的損失を用いて共同で最適化される。 さらに,各一貫性の寄与を考慮し,効果的なマルチタスク学習を実現するための不確実性重み付け手法について検討する。 提案手法は, 時系列分類, 予測, 異常検出の3つの下流課題について評価した。 実験の結果,提案手法は下流タスクのベンチマークモデルを上回るだけでなく,ドメイン間転送学習における効率性も示している。

関連論文リスト

• Dynamic Contrastive Learning for Time Series Representation [6.086030037869592]
  時系列の教師なしコントラスト表現学習フレームワークDynaCLを提案する。 DynaCLは時系列から意味のあるクラスタにインスタンスを埋め込みます。 また、教師なしクラスタリングメトリクスの高得点は、下流タスクにおいて表現が有用であることを保証していないことも明らかにした。
  論文  参考訳（メタデータ） (2024-10-20T15:20:24Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Efficient Self-Supervision using Patch-based Contrastive Learning for Histopathology Image Segmentation [0.456877715768796]
  画像パッチに対するコントラスト学習を用いた自己教師型画像分割のためのフレームワークを提案する。 完全畳み込みニューラルネットワーク(FCNN)は、入力画像の特徴を識別するために、自己教師型で訓練される。 提案したモデルは10.8kパラメータを持つ単純なFCNNで構成され、高解像度の顕微鏡データセットに収束するのに約5分を要する。
  論文  参考訳（メタデータ） (2022-08-23T07:24:47Z)
• Mixing Up Contrastive Learning: Self-Supervised Representation Learning for Time Series [22.376529167056376]
  ラベルスムーシングの観点から,教師なしのコントラスト学習フレームワークを提案する。 提案手法は、データ拡張スキームを自然に活用する、新しい対照的な損失を用いる。 実験は、他の表現学習アプローチと比較して、フレームワークのパフォーマンスが優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T11:49:21Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。