論文の概要: Contrastive Learning Is Not Optimal for Quasiperiodic Time Series

• arxiv url: http://arxiv.org/abs/2407.17073v1
• Date: Wed, 24 Jul 2024 08:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:33:39.194672
• Title: Contrastive Learning Is Not Optimal for Quasiperiodic Time Series
• Title（参考訳）: コントラスト学習は準周期時系列に最適ではない
• Authors: Adrian Atienza, Jakob Bardram, Sadasivan Puthusserypady,
• Abstract要約: 本稿では,ほぼ周期時間系列(DEAPS)の蒸留埋め込みについて紹介する。 DEAPSは、心電図(ECG)データなどの準周期時系列に適した非コントラスト法である。 機械学習(ML)モデルに適合するアノテートレコードがわずかに提示された場合,既存のSOTAメソッドよりも10%向上したことを示す。
• 参考スコア（独自算出の注目度）: 4.2807943283312095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advancements in Self-Supervised Learning (SSL) for time series analysis, a noticeable gap persists between the anticipated achievements and actual performance. While these methods have demonstrated formidable generalization capabilities with minimal labels in various domains, their effectiveness in distinguishing between different classes based on a limited number of annotated records is notably lacking. Our hypothesis attributes this bottleneck to the prevalent use of Contrastive Learning, a shared training objective in previous state-of-the-art (SOTA) methods. By mandating distinctiveness between representations for negative pairs drawn from separate records, this approach compels the model to encode unique record-based patterns but simultaneously neglects changes occurring across the entire record. To overcome this challenge, we introduce Distilled Embedding for Almost-Periodic Time Series (DEAPS) in this paper, offering a non-contrastive method tailored for quasiperiodic time series, such as electrocardiogram (ECG) data. By avoiding the use of negative pairs, we not only mitigate the model's blindness to temporal changes but also enable the integration of a "Gradual Loss (Lgra)" function. This function guides the model to effectively capture dynamic patterns evolving throughout the record. The outcomes are promising, as DEAPS demonstrates a notable improvement of +10% over existing SOTA methods when just a few annotated records are presented to fit a Machine Learning (ML) model based on the learned representation.
• Abstract（参考訳）: 時系列分析における自己監視学習(SSL)の最近の進歩にもかかわらず、期待される成果と実際のパフォーマンスとの間には顕著なギャップが持続している。 これらの手法は,各ドメインに最小限のラベルを持つ有意な一般化能力を示すものであるが,注釈付きレコードの限られた数に基づいて異なるクラスを区別する効果は顕著に欠落している。 我々の仮説は、従来のSOTA(State-of-the-art)手法における共有トレーニング目標であるContrastive Learning(コントラシブラーニング)が広く使われていることによる。 異なるレコードから引き出された負のペアの表現の区別を強制することにより、この手法は、ユニークなレコードベースのパターンを符号化するモデルを補完するが、同時にレコード全体で発生する変化を無視する。 本論文では,心電図(ECG)データなどの準周期時系列に適した非コントラスト法を提案する。 負ペアの使用を避けることで、モデルの盲点を時間的変化に緩和するだけでなく、"Gradual Loss (Lgra)"関数の統合も可能にします。 この関数は、レコード全体で進化する動的パターンを効果的にキャプチャするためにモデルを導く。 DEAPSは、学習した表現に基づいて機械学習(ML)モデルに適合するように、いくつかの注釈付きレコードが提示された場合、既存のSOTAメソッドよりも10%も大幅に改善されていることを実証している。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Consistency-based Self-supervised Learning for Temporal Anomaly Localization [35.34342265033686]
  この研究はWeakly Supervised Anomaly検出に取り組み、予測器はトレーニング中に利用可能なラベル付き異常から学習することができる。 我々は、自己教師型学習の分野における最近の進歩に触発され、同じビデオシーケンスの異なる拡張に対して、同じスコアを得るようモデルに求める。
  論文  参考訳（メタデータ） (2022-08-10T10:07:34Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Attention to Warp: Deep Metric Learning for Multivariate Time Series [28.540348999309547]
  本稿では,堅牢かつ識別性のある時系列分類と検証のためのニューラルネットワークに基づく新しい手法を提案する。 従来の非パラメトリックモデルや深層モデルよりも,提案手法の優位性を実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-28T07:54:01Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Graph-Based Continual Learning [9.57751063426439]
  リハーサルアプローチは、前のサンプルの小さなエピソードメモリの維持と再生によって問題を緩和する。 そこで本研究では,学習可能なランダムグラフを用いて,サンプル間のペアの類似性を捕捉し,新しいタスクの学習だけでなく,忘れることの防止にも利用することを提案する。
  論文  参考訳（メタデータ） (2020-07-09T14:03:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。