論文の概要: Time Series Contrastive Learning with Information-Aware Augmentations
- arxiv url: http://arxiv.org/abs/2303.11911v1
- Date: Tue, 21 Mar 2023 15:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 14:41:01.690307
- Title: Time Series Contrastive Learning with Information-Aware Augmentations
- Title（参考訳）: 情報認識による時系列コントラスト学習
- Authors: Dongsheng Luo, Wei Cheng, Yingheng Wang, Dongkuan Xu, Jingchao Ni,
Wenchao Yu, Xuchao Zhang, Yanchi Liu, Yuncong Chen, Haifeng Chen, Xiang Zhang
- Abstract要約: コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
- 参考スコア（独自算出の注目度）: 57.45139904366001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various contrastive learning approaches have been proposed in recent years
and achieve significant empirical success. While effective and prevalent,
contrastive learning has been less explored for time series data. A key
component of contrastive learning is to select appropriate augmentations
imposing some priors to construct feasible positive samples, such that an
encoder can be trained to learn robust and discriminative representations.
Unlike image and language domains where ``desired'' augmented samples can be
generated with the rule of thumb guided by prefabricated human priors, the
ad-hoc manual selection of time series augmentations is hindered by their
diverse and human-unrecognizable temporal structures. How to find the desired
augmentations of time series data that are meaningful for given contrastive
learning tasks and datasets remains an open question. In this work, we address
the problem by encouraging both high \textit{fidelity} and \textit{variety}
based upon information theory. A theoretical analysis leads to the criteria for
selecting feasible data augmentations. On top of that, we propose a new
contrastive learning approach with information-aware augmentations, InfoTS,
that adaptively selects optimal augmentations for time series representation
learning. Experiments on various datasets show highly competitive performance
with up to 12.0\% reduction in MSE on forecasting tasks and up to 3.7\%
relative improvement in accuracy on classification tasks over the leading
baselines.
- Abstract（参考訳）: 近年,様々なコントラスト学習手法が提案され,実証的な成功を収めている。
有効で普及している一方で、時系列データでは対照的な学習があまり行われていない。
コントラスト学習の鍵となる要素は、エンコーダが堅牢で差別的な表現を学ぶために訓練されるように、いくつかの事前を具現化する適切な拡張を選択することである。
イメージや言語領域では、'desired' 拡張されたサンプルが、プリハブされた人間の前置詞によって親指の規則に従って生成されるのとは異なり、時系列の増補のアドホックな手動選択は、その多様で人間が認識できない時間的構造によって妨げられる。
与えられた対照的な学習タスクやデータセットにとって意味のある時系列データの望ましい拡張を見つけるには、まだ疑問の余地がある。
本研究は,情報理論に基づくハイテキスト{fidelity} と \textit{variety} の両方を奨励することでこの問題に対処する。
理論的解析は、実現可能なデータ拡張を選択するための基準につながる。
さらに,時系列表現学習に最適な拡張度を適応的に選択する,情報認識拡張(infots)を用いた新しいコントラスト学習手法を提案する。
様々なデータセットにおける実験では、予測タスクにおいてmseが最大12.0\%減少し、リードベースラインよりも分類タスクの精度が最大3.7\%向上する高い競合性能を示す。
関連論文リスト
- Granularity Matters in Long-Tail Learning [62.30734737735273]
より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。
既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。
補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
論文 参考訳（メタデータ） (2024-10-21T13:06:21Z) - Guidelines for Augmentation Selection in Contrastive Learning for Time Series Classification [7.712601563682029]
我々は、トレンドや季節といったデータセットの特徴に基づいて、拡張を選択するための原則的な枠組みを確立する。
次に、12の合成データセットと6つの実世界のデータセットにまたがる8つの異なる拡張の有効性を評価する。
提案手法は,時系列データセットの有効拡張を正確に識別する。
論文 参考訳（メタデータ） (2024-07-12T15:13:16Z) - Parametric Augmentation for Time Series Contrastive Learning [33.47157775532995]
我々は、堅牢で差別的な表現を学習する上でモデルを支援するポジティブな例を作成します。
通常、プリセットされた人間の直観は、関連するデータ拡張の選択を指示する。
本稿では、時系列表現学習を支援するために適応的に使用できるパラメトリック拡張型学習フレームワークAutoTCLを提案する。
論文 参考訳（メタデータ） (2024-02-16T03:51:14Z) - Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。
具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。
そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。
複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
論文 参考訳（メタデータ） (2024-01-31T12:52:10Z) - One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。
我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-12-16T03:33:12Z) - Contrastive Difference Predictive Coding [79.74052624853303]
本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。
目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
論文 参考訳（メタデータ） (2023-10-31T03:16:32Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Mixing Up Contrastive Learning: Self-Supervised Representation Learning
for Time Series [22.376529167056376]
ラベルスムーシングの観点から,教師なしのコントラスト学習フレームワークを提案する。
提案手法は、データ拡張スキームを自然に活用する、新しい対照的な損失を用いる。
実験は、他の表現学習アプローチと比較して、フレームワークのパフォーマンスが優れていることを示す。
論文 参考訳（メタデータ） (2022-03-17T11:49:21Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Time Series Data Augmentation for Deep Learning: A Survey [35.2161833151567]
時系列データに対する様々なデータ拡張手法を体系的に検討する。
時系列分類や異常検出,予測など,さまざまなタスクに対するデータ拡張手法を実証的に比較した。
論文 参考訳（メタデータ） (2020-02-27T23:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。