論文の概要: Parametric Augmentation for Time Series Contrastive Learning

• arxiv url: http://arxiv.org/abs/2402.10434v1
• Date: Fri, 16 Feb 2024 03:51:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:29:20.380410
• Title: Parametric Augmentation for Time Series Contrastive Learning
• Title（参考訳）: 時系列コントラスト学習のためのパラメトリック拡張
• Authors: Xu Zheng, Tianchun Wang, Wei Cheng, Aitian Ma, Haifeng Chen, Mo Sha, Dongsheng Luo
• Abstract要約: 我々は、堅牢で差別的な表現を学習する上でモデルを支援するポジティブな例を作成します。 通常、プリセットされた人間の直観は、関連するデータ拡張の選択を指示する。 本稿では、時系列表現学習を支援するために適応的に使用できるパラメトリック拡張型学習フレームワークAutoTCLを提案する。
• 参考スコア（独自算出の注目度）: 33.47157775532995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern techniques like contrastive learning have been effectively used in many areas, including computer vision, natural language processing, and graph-structured data. Creating positive examples that assist the model in learning robust and discriminative representations is a crucial stage in contrastive learning approaches. Usually, preset human intuition directs the selection of relevant data augmentations. Due to patterns that are easily recognized by humans, this rule of thumb works well in the vision and language domains. However, it is impractical to visually inspect the temporal structures in time series. The diversity of time series augmentations at both the dataset and instance levels makes it difficult to choose meaningful augmentations on the fly. In this study, we address this gap by analyzing time series data augmentation using information theory and summarizing the most commonly adopted augmentations in a unified format. We then propose a contrastive learning framework with parametric augmentation, AutoTCL, which can be adaptively employed to support time series representation learning. The proposed approach is encoder-agnostic, allowing it to be seamlessly integrated with different backbone encoders. Experiments on univariate forecasting tasks demonstrate the highly competitive results of our method, with an average 6.5\% reduction in MSE and 4.7\% in MAE over the leading baselines. In classification tasks, AutoTCL achieves a $1.2\%$ increase in average accuracy.
• Abstract（参考訳）: コントラスト学習のような現代的な技術は、コンピュータビジョン、自然言語処理、グラフ構造化データなど、多くの分野で効果的に使われている。 頑健で識別的な表現を学ぶ上でモデルを支援するポジティブな例を作ることは、対照的な学習アプローチにおいて重要な段階である。 通常、プリセットされた人間の直観は、関連するデータ拡張の選択を指示する。 人間によって容易に認識されるパターンのため、この親指の規則は視覚と言語領域でうまく機能する。 しかし,時系列の時間構造を視覚的に検査することは不可能である。 データセットとインスタンスレベルの時系列拡張の多様性は、オンザフライで意味のある拡張を選択するのを難しくする。 本研究では,情報理論を用いて時系列データ拡張を解析し,最も一般的に採用されている拡張を統一形式に要約することで,このギャップを解消する。 次に、時系列表現学習を支援するために適応的に使用できるパラメトリック拡張(AutoTCL)を備えたコントラスト学習フレームワークを提案する。 提案手法はエンコーダ非依存であり、異なるバックボーンエンコーダとシームレスに統合することができる。 単変量予測タスクの実験では,MSEが平均6.5倍,MAEが4.7倍と高い競争力を示した。 分類タスクでは、AutoTCLは平均精度が1.2\%以上向上する。

関連論文リスト

• Contrastive Difference Predictive Coding [79.74052624853303]
  本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。 目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
  論文  参考訳（メタデータ） (2023-10-31T03:16:32Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• LEAVES: Learning Views for Time-Series Data in Contrastive Learning [16.84326709739788]
  時系列データのための学習ビュー(LEAVES)という,対照的な学習における時系列データのビュー生成を自動化するモジュールを提案する。 提案手法は, 合理的な視点の探索に有効であり, ベースラインよりも下流タスクを効果的に行う。
  論文  参考訳（メタデータ） (2022-10-13T20:18:22Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback [3.347485580830609]
  PSEUDoは、マルチトラックシーケンシャルデータにおける視覚パターンを探索するための適応的機能学習技術である。 提案アルゴリズムは,サブ線形学習と推論時間を特徴とする。 我々は,PSEUDoの効率,精度,操縦性において優位性を示す。
  論文  参考訳（メタデータ） (2021-04-30T13:00:44Z)
• i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning [117.63815437385321]
  対照的な表現学習を改善するために, 単純で効果的なドメインに依存しない正規化戦略i-Mixを提案する。 実験では、i-Mixはドメイン間の学習表現の質を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2020-10-17T23:32:26Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。