論文の概要: Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair
Mining Approach
- arxiv url: http://arxiv.org/abs/2302.03357v2
- Date: Fri, 8 Mar 2024 12:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 23:45:15.976048
- Title: Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair
Mining Approach
- Title(参考訳): 時系列コントラスト学習の促進に向けて:動的に悪いペアマイニングアプローチ
- Authors: Xiang Lan, Hanshu Yan, Shenda Hong, Mengling Feng
- Abstract要約: 悪い正のペアは、対照的な学習を通して学んだ時系列表現の質を損なう可能性がある。
本稿では,悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。
DBPMは、学習可能なパラメータなしで軽量なプラグインとして設計された単純なアルゴリズムである。
- 参考スコア(独自算出の注目度): 23.550418907653434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Not all positive pairs are beneficial to time series contrastive learning. In
this paper, we study two types of bad positive pairs that can impair the
quality of time series representation learned through contrastive learning: the
noisy positive pair and the faulty positive pair. We observe that, with the
presence of noisy positive pairs, the model tends to simply learn the pattern
of noise (Noisy Alignment). Meanwhile, when faulty positive pairs arise, the
model wastes considerable amount of effort aligning non-representative patterns
(Faulty Alignment). To address this problem, we propose a Dynamic Bad Pair
Mining (DBPM) algorithm, which reliably identifies and suppresses bad positive
pairs in time series contrastive learning. Specifically, DBPM utilizes a memory
module to dynamically track the training behavior of each positive pair along
training process. This allows us to identify potential bad positive pairs at
each epoch based on their historical training behaviors. The identified bad
pairs are subsequently down-weighted through a transformation module, thereby
mitigating their negative impact on the representation learning process. DBPM
is a simple algorithm designed as a lightweight plug-in without learnable
parameters to enhance the performance of existing state-of-the-art methods.
Through extensive experiments conducted on four large-scale, real-world time
series datasets, we demonstrate DBPM's efficacy in mitigating the adverse
effects of bad positive pairs.
- Abstract(参考訳): すべての正のペアが時系列の対比学習に有益ではない。
本稿では,逆学習によって学習される時系列表現の質を損なう2種類の悪い正の対,雑音の正の対と不良の正の対について検討する。
ノイズの正のペアが存在すると、モデルが単にノイズのパターン(ノイズのアライメント)を学ぶ傾向があることを観察する。
一方、欠陥のある正のペアが発生すると、モデルは非表現的パターン(フォーティアライメント)の整合性にかなりの労力を浪費する。
この問題に対処するために,時系列コントラスト学習における悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。
具体的には、メモリモジュールを使用して、トレーニングプロセスに沿って各正のペアのトレーニング動作を動的に追跡する。
これにより,過去のトレーニング行動に基づいて,各時代における潜在的な悪質なペアを識別することが可能になります。
識別された悪いペアはその後、変換モジュールを通して減重され、表現学習プロセスに負の影響を軽減します。
DBPMは、既存の最先端手法の性能を高めるために、学習可能なパラメータなしで軽量なプラグインとして設計された単純なアルゴリズムである。
4つの大規模な実世界の時系列データセットで実施された広範な実験を通して、悪い正のペアの悪影響を緩和するDBPMの有効性を実証する。
関連論文リスト
- Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-01-13T11:18:18Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳(メタデータ) (2023-11-07T08:27:14Z) - REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Decoupled Contrastive Multi-View Clustering with High-Order Random Walks [25.03805821839733]
高次ランダムウォークを用いた非結合型コントラスト多視点クラスタリング(DIVIDE)と呼ばれる新しいロバストな手法を提案する。
簡単に言うと、DIVIDEはランダムウォークを利用して、局所的な方法でではなく、グローバルにデータペアを段階的に識別する。
DIVIDEは、近隣の陰性および近隣の陽性を識別できる。
論文 参考訳(メタデータ) (2023-08-22T03:45:13Z) - Attack is Good Augmentation: Towards Skeleton-Contrastive Representation
Learning [41.0287770402969]
本稿では, 強正な特徴と強負な特徴とを対比する新たな攻撃・拡張混合比較学習法 (A$2$MC) を提案する。
2$MCでは、アタック・オーグメンテーション(Att-Aug)は骨格の標的および未標的の摂動を協調的に行うように設計されている。
一方、PNM(Positive-Negative Mixer)は、ハードなネガティブな特徴とネガティブな特徴を混合してハードなネガティブな特徴を生成する。
論文 参考訳(メタデータ) (2023-04-08T14:34:07Z) - Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。
自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。
本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
論文 参考訳(メタデータ) (2023-03-02T07:44:06Z) - Curriculum Learning Meets Weakly Supervised Modality Correlation
Learning [26.754095474534534]
カリキュラム学習を弱教師付きモダリティ相関学習に導入する。
相関学習を支援するために,学習の難しさに応じてトレーニングペアをモデルに供給する。
提案手法は,マルチモーダル感情分析における最先端の性能に達する。
論文 参考訳(メタデータ) (2022-12-15T05:11:04Z) - Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。
提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文 参考訳(メタデータ) (2022-01-12T05:24:29Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。