論文の概要: Towards Better Time Series Contrastive Learning: A Dynamic Bad Pair
Mining Approach
- arxiv url: http://arxiv.org/abs/2302.03357v1
- Date: Tue, 7 Feb 2023 10:02:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 16:51:38.052469
- Title: Towards Better Time Series Contrastive Learning: A Dynamic Bad Pair
Mining Approach
- Title(参考訳): 時系列コントラスト学習の改善に向けて:動的に悪いペアマイニングアプローチ
- Authors: Xiang Lan, Hanshu Yan, Shenda Hong, Mengling Feng
- Abstract要約: 比較学習を通して学習した時系列表現の質を損なう2種類の悪い正のペアについて検討する。
本稿では,悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。
実験の結果,DBPMは悪いペアの負の影響を効果的に軽減し,最先端手法の性能向上のためのプラグインとして容易に利用できることがわかった。
- 参考スコア(独自算出の注目度): 8.886027805756994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Not all positive pairs are beneficial to time series contrastive learning. In
this paper, we study two types of bad positive pairs that impair the quality of
time series representation learned through contrastive learning ($i.e.$, noisy
positive pair and faulty positive pair). We show that, with the presence of
noisy positive pairs, the model tends to simply learn the pattern of noise
(Noisy Alignment). Meanwhile, when faulty positive pairs arise, the model
spends considerable efforts aligning non-representative patterns (Faulty
Alignment). To address this problem, we propose a Dynamic Bad Pair Mining
(DBPM) algorithm, which reliably identifies and suppresses bad positive pairs
in time series contrastive learning. DBPM utilizes a memory module to track the
training behavior of each positive pair along training process. This allows us
to identify potential bad positive pairs at each epoch based on their
historical training behaviors. The identified bad pairs are then down-weighted
using a transformation module. Our experimental results show that DBPM
effectively mitigates the negative impacts of bad pairs, and can be easily used
as a plug-in to boost performance of state-of-the-art methods. Codes will be
made publicly available.
- Abstract(参考訳): すべての正のペアが時系列の対比学習に有益ではない。
本稿では,比較学習によって学習した時系列表現の質を損なう2種類の悪い正の対(すなわち,雑音の多い正の対と不良な正の対)について検討する。
ノイズの正のペアが存在すると、モデルが単にノイズのパターン(ノイズのアライメント)を学ぶ傾向があることが分かる。
一方、欠陥のある正のペアが発生すると、モデルは非表現パターン(デフォルトアライメント)の調整にかなりの労力を費やす。
この問題に対処するために,時系列コントラスト学習における悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。
DBPMはメモリモジュールを使用して、トレーニングプロセスに沿って各正のペアのトレーニング動作を追跡する。
これにより,過去のトレーニング行動に基づいて,各時代における潜在的な悪質なペアを識別することが可能になります。
識別された悪いペアは変換モジュールを使用してダウンウェイトされる。
実験の結果,DBPMは悪いペアの負の影響を効果的に軽減し,最先端手法の性能向上のためのプラグインとして容易に利用できることがわかった。
コードは公開される予定だ。
関連論文リスト
- Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-01-13T11:18:18Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳(メタデータ) (2023-11-07T08:27:14Z) - Retrieval-Based Reconstruction For Time-series Contrastive Learning [67.90328731570712]
本稿では,Retrieval-Based Reconstruction (REBAR) のコントラスト学習について紹介する。
まず、畳み込み型クロスアテンションアーキテクチャを用いて、2つの異なる時系列間のREBAR誤差を計算する。
本稿では,REBARエラーが相互クラスメンバシップの予測子であることを示し,正負のラベル付けとしての利用を正当化する。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Decoupled Contrastive Multi-View Clustering with High-Order Random Walks [25.03805821839733]
高次ランダムウォークを用いた非結合型コントラスト多視点クラスタリング(DIVIDE)と呼ばれる新しいロバストな手法を提案する。
簡単に言うと、DIVIDEはランダムウォークを利用して、局所的な方法でではなく、グローバルにデータペアを段階的に識別する。
DIVIDEは、近隣の陰性および近隣の陽性を識別できる。
論文 参考訳(メタデータ) (2023-08-22T03:45:13Z) - Solving Inverse Problems with Score-Based Generative Priors learned from
Noisy Data [1.7969777786551424]
SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。
2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
論文 参考訳(メタデータ) (2023-05-02T02:51:01Z) - Attack is Good Augmentation: Towards Skeleton-Contrastive Representation
Learning [41.0287770402969]
本稿では, 強正な特徴と強負な特徴とを対比する新たな攻撃・拡張混合比較学習法 (A$2$MC) を提案する。
2$MCでは、アタック・オーグメンテーション(Att-Aug)は骨格の標的および未標的の摂動を協調的に行うように設計されている。
一方、PNM(Positive-Negative Mixer)は、ハードなネガティブな特徴とネガティブな特徴を混合してハードなネガティブな特徴を生成する。
論文 参考訳(メタデータ) (2023-04-08T14:34:07Z) - Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。
自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。
本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
論文 参考訳(メタデータ) (2023-03-02T07:44:06Z) - Curriculum Learning Meets Weakly Supervised Modality Correlation
Learning [26.754095474534534]
カリキュラム学習を弱教師付きモダリティ相関学習に導入する。
相関学習を支援するために,学習の難しさに応じてトレーニングペアをモデルに供給する。
提案手法は,マルチモーダル感情分析における最先端の性能に達する。
論文 参考訳(メタデータ) (2022-12-15T05:11:04Z) - Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。
提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文 参考訳(メタデータ) (2022-01-12T05:24:29Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。