論文の概要: Self-Supervised Time Series Representation Learning via Cross Reconstruction Transformer

• arxiv url: http://arxiv.org/abs/2205.09928v2
• Date: Fri, 7 Jul 2023 14:15:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 16:13:39.414988
• Title: Self-Supervised Time Series Representation Learning via Cross Reconstruction Transformer
• Title（参考訳）: クロスコンストラクショントランスを用いた自己教師付き時系列表現学習
• Authors: Wenrui Zhang, Ling Yang, Shijia Geng, Shenda Hong
• Abstract要約: 既存のアプローチは主に対照的な学習フレームワークを活用し、類似したデータペアと異なるデータペアを理解するために自動的に学習する。 本稿では、上記の問題を統一的に解くために、CRT(Cross Reconstruction Transformer)を提案する。 CRTはクロスドメインドロップ・リコンストラクションタスクを通じて時系列表現学習を実現する。
• 参考スコア（独自算出の注目度）: 11.908755624411707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised/self-supervised representation learning in time series is critical since labeled samples are usually scarce in real-world scenarios. Existing approaches mainly leverage the contrastive learning framework, which automatically learns to understand the similar and dissimilar data pairs. Nevertheless, they are restricted to the prior knowledge of constructing pairs, cumbersome sampling policy, and unstable performances when encountering sampling bias. Also, few works have focused on effectively modeling across temporal-spectral relations to extend the capacity of representations. In this paper, we aim at learning representations for time series from a new perspective and propose Cross Reconstruction Transformer (CRT) to solve the aforementioned problems in a unified way. CRT achieves time series representation learning through a cross-domain dropping-reconstruction task. Specifically, we transform time series into the frequency domain and randomly drop certain parts in both time and frequency domains. Dropping can maximally preserve the global context compared to cropping and masking. Then a transformer architecture is utilized to adequately capture the cross-domain correlations between temporal and spectral information through reconstructing data in both domains, which is called Dropped Temporal-Spectral Modeling. To discriminate the representations in global latent space, we propose Instance Discrimination Constraint to reduce the mutual information between different time series and sharpen the decision boundaries. Additionally, we propose a specified curriculum learning strategy to optimize the CRT, which progressively increases the dropping ratio in the training process.
• Abstract（参考訳）: ラベル付きサンプルは通常現実のシナリオでは不足するため、時系列における教師なし/自己教師付き表現学習が重要である。 既存のアプローチは主に対照的な学習フレームワークを活用しており、類似したデータ対を理解するために自動的に学習する。 それでも、それらは、ペアの構築、面倒なサンプリングポリシー、サンプリングバイアスに遭遇する不安定なパフォーマンスに関する以前の知識に制限されている。 また、表現能力を拡張するために時間-スペクトル関係を効果的にモデル化することに焦点を当てた作品はほとんどない。 本稿では,新たな視点から時系列表現の学習を目指して,上記の問題を統一的に解くために,クロス再構成変換器(CRT)を提案する。 CRTはクロスドメインドロップ・リコンストラクションタスクを通じて時系列表現学習を実現する。 具体的には、時系列を周波数領域に変換し、時間領域と周波数領域の両方の特定の部分をランダムにドロップする。 ドロップは、切り抜きやマスキングと比較して、グローバルコンテキストを最大限に保存することができる。 次に、変換器アーキテクチャを用いて、両領域のデータを再構成することで、時間的・スペクトル的情報間のクロスドメイン相関を適切に捕捉する。 グローバルな潜在空間における表現を識別するために、異なる時系列間の相互情報を減らすとともに、決定境界を鋭くするインスタンス識別制約を提案する。 さらに,CRTを最適化する特定のカリキュラム学習戦略を提案する。

関連論文リスト

• On the Regularization of Learnable Embeddings for Time Series Processing [18.069747511100132]
  時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。 この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:30:20Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• CLeaRForecast: Contrastive Learning of High-Purity Representations for Time Series Forecasting [2.5816901096123863]
  時系列予測(TSF)は現代社会において重要であり、多くの領域にまたがっている。 従来の表現学習に基づくTSFアルゴリズムは、典型的には、分離された傾向周期表現を特徴とする対照的な学習パラダイムを取り入れている。 CLeaRForecastは,高純度時系列表現をサンプル,特徴量,アーキテクチャ浄化手法を用いて学習するための,新しいコントラスト学習フレームワークである。
  論文  参考訳（メタデータ） (2023-12-10T04:37:43Z)
• Continual Vision-Language Representation Learning with Off-Diagonal Information [112.39419069447902]
  CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。 本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
  論文  参考訳（メタデータ） (2023-05-11T08:04:46Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)
• Time-Series Representation Learning via Temporal and Contextual Contrasting [14.688033556422337]
  時間・文脈コントラスト(TS-TCC)を用いた教師なし時系列表現学習フレームワークを提案する。 第一に、生の時系列データは、弱い、強い拡張を用いて、2つの異なる相関するビューに変換される。 第2に,厳密な横断的予測タスクを設計することにより,頑健な時間的表現を学習するための新しい時間的コントラストモジュールを提案する。 第三に、識別的表現をさらに学習するために、時間的コントラストモジュールからコンテキスト上に構築された文脈的コントラストモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-26T23:56:31Z)
• Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding [8.45908939323268]
  非定常時系列に対する一般化可能な表現を学習するための自己教師型フレームワークを提案する。 我々のモチベーションは、時系列データの動的性質をモデル化する能力が特に有用である医療分野に起因している。
  論文  参考訳（メタデータ） (2021-06-01T19:53:24Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Multi-Faceted Representation Learning with Hybrid Architecture for Time Series Classification [16.64345034889185]
  SARCoN(Self-Attentive Recurrent Convolutional Networks)と呼ばれるハイブリッドニューラルネットワークを提案する。 SARCoNは、長期記憶ネットワークと自己拡張機構と完全な畳み込みネットワークの合成である。 我々の研究は、時系列分類の理解を深める新しいアングルを提供し、提案したモデルを現実世界のアプリケーションに最適な選択肢とみなす。
  論文  参考訳（メタデータ） (2020-12-21T16:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。