論文の概要: TimeDRL: Disentangled Representation Learning for Multivariate Time-Series

• arxiv url: http://arxiv.org/abs/2312.04142v1
• Date: Thu, 7 Dec 2023 08:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 15:43:37.600994
• Title: TimeDRL: Disentangled Representation Learning for Multivariate Time-Series
• Title（参考訳）: TimeDRL:多変量時間系列に対するアンタングル表現学習
• Authors: Ching Chang, Chiao-Tung Chan, Wei-Yao Wang, Wen-Chih Peng, Tien-Fu Chen
• Abstract要約: TimeDRLは、アンタングル化されたデュアルレベル埋め込みを備えた一般的な時系列表現学習フレームワークである。 TimeDRLは、既存の表現学習アプローチを一貫して上回り、平均57.98%のMSE改善と1.25%の精度の分類を実現している。
• 参考スコア（独自算出の注目度）: 11.796765525301051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multivariate time-series data in numerous real-world applications (e.g., healthcare and industry) are informative but challenging due to the lack of labels and high dimensionality. Recent studies in self-supervised learning have shown their potential in learning rich representations without relying on labels, yet they fall short in learning disentangled embeddings and addressing issues of inductive bias (e.g., transformation-invariance). To tackle these challenges, we propose TimeDRL, a generic multivariate time-series representation learning framework with disentangled dual-level embeddings. TimeDRL is characterized by three novel features: (i) disentangled derivation of timestamp-level and instance-level embeddings from patched time-series data using a [CLS] token strategy; (ii) utilization of timestamp-predictive and instance-contrastive tasks for disentangled representation learning, with the former optimizing timestamp-level embeddings with predictive loss, and the latter optimizing instance-level embeddings with contrastive loss; and (iii) avoidance of augmentation methods to eliminate inductive biases, such as transformation-invariance from cropping and masking. Comprehensive experiments on 6 time-series forecasting datasets and 5 time-series classification datasets have shown that TimeDRL consistently surpasses existing representation learning approaches, achieving an average improvement of forecasting by 57.98% in MSE and classification by 1.25% in accuracy. Furthermore, extensive ablation studies confirmed the relative contribution of each component in TimeDRL's architecture, and semi-supervised learning evaluations demonstrated its effectiveness in real-world scenarios, even with limited labeled data.
• Abstract（参考訳）: 多くの実世界のアプリケーション(例えば医療や産業)における多変量時系列データは、ラベルの欠如と高次元性のために有益だが困難である。 自己教師付き学習における最近の研究は、ラベルに依存しずにリッチ表現を学習する可能性を示しているが、不連続埋め込みの学習や帰納的バイアス(例えば変換不変性)の問題への対処には不足している。 これらの課題に取り組むため,我々は,不連続なデュアルレベル埋め込みを持つ汎用多変量表現学習フレームワークであるtimedrlを提案する。 TimeDRLには3つの新しい特徴がある。 (i)[cls]トークン戦略を用いたパッチ付き時系列データからのタイムスタンプレベルおよびインスタンスレベルの埋め込みの不連続導出 (ii)不連続表現学習におけるtimetamp-predictive および instance-concontrastive タスクの利用、前者は予測損失を伴うtimetamp-level embeddedsを最適化し、後者は対照的損失を伴うインスタンスレベルのembedmentsを最適化する。 (iii)トリッピングやマスキングからの変換不変性など、帰納的バイアスを取り除くための増強方法の回避。 6つの時系列予測データセットと5つの時系列分類データセットに関する総合的な実験は、TimeDRLが既存の表現学習アプローチを一貫して上回り、MSEの57.98%、精度の1.25%の平均的な予測改善を達成することを示した。 さらに、広範囲にわたるアブレーション研究により、TimeDRLのアーキテクチャにおける各コンポーネントの相対的寄与が確認され、半教師付き学習評価により、ラベル付きデータであっても実世界のシナリオにおいてその効果が示された。

関連論文リスト

• Self-Supervised Learning of Disentangled Representations for Multivariate Time-Series [10.99576829280084]
  TimeDRLは多変量時系列表現学習のためのフレームワークである。 TimeDRLの特徴は, []トークン戦略を用いたタイムスタンプレベルおよびインスタンスレベルの埋め込み, (ii)表現学習のためのタイムスタンプ予測およびインスタンスコントラストタスク, (iii)帰納的バイアスを取り除くための拡張手法の回避である。 予測と分類データセットの実験では、TimeDRLは既存の手法よりも優れており、ラベル付きデータに制限のある半教師付き設定でさらなる検証が行われている。
  論文  参考訳（メタデータ） (2024-10-16T14:24:44Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• T-Rep: Representation Learning for Time Series using Time-Embeddings [5.885238773559017]
  本稿では,時系列表現を時間ステップの粒度で学習する自己教師型T-Repを提案する。 T-Repはその特徴抽出器と共に時間のベクトル埋め込みを学び、時間的特徴を抽出する。 下流分類,予測,異常検出タスクにおけるT-Repの評価を行った。
  論文  参考訳（メタデータ） (2023-10-06T15:45:28Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Time Associated Meta Learning for Clinical Prediction [78.99422473394029]
  本稿では,時間関連メタラーニング(TAML)手法を提案する。 タスク分割後のスパーシリティ問題に対処するため、TAMLは時間情報共有戦略を採用し、正のサンプル数を増やす。 複数の臨床データセットに対するTAMLの有効性を示す。
  論文  参考訳（メタデータ） (2023-03-05T03:54:54Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Wild-Time: A Benchmark of in-the-Wild Distribution Shift over Time [69.77704012415845]
  時間的シフトは、現実世界にデプロイされた機械学習モデルのパフォーマンスを著しく低下させる可能性がある。 ドメイン一般化、連続学習、自己教師付き学習、アンサンブル学習の手法を含む13の先行手法をベンチマークする。 いずれの評価方略も,分布外データから分布外データへの平均的な性能低下を観察する。
  論文  参考訳（メタデータ） (2022-11-25T17:07:53Z)
• Contrastive predictive coding for Anomaly Detection in Multi-variate Time Series Data [6.463941665276371]
  本稿では,MVTSデータにおける異常検出に向けて,TRL-CPC(Contrastive Predictive Coding)を用いた時系列表現学習を提案する。 まず,エンコーダ,自動回帰器,非線形変換関数を共同で最適化し,MVTSデータセットの表現を効果的に学習する。
  論文  参考訳（メタデータ） (2022-02-08T04:25:29Z)
• Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values [7.9405251142099464]
  本稿ではSTraTS(Self-supervised Transformer for TimeSeries)モデルを提案する。 伝統的な密度行列表現を使う代わりに、時系列を観測三重項の集合として扱う。 これは、特にラベル付きデータが制限された場合、死亡予測の最先端手法よりも優れた予測性能を示す。
  論文  参考訳（メタデータ） (2021-07-29T19:39:39Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。