論文の概要: Towards Better Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach

• arxiv url: http://arxiv.org/abs/2302.03357v1
• Date: Tue, 7 Feb 2023 10:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 16:51:38.052469
• Title: Towards Better Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach
• Title（参考訳）: 時系列コントラスト学習の改善に向けて:動的に悪いペアマイニングアプローチ
• Authors: Xiang Lan, Hanshu Yan, Shenda Hong, Mengling Feng
• Abstract要約: 比較学習を通して学習した時系列表現の質を損なう2種類の悪い正のペアについて検討する。 本稿では,悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。 実験の結果,DBPMは悪いペアの負の影響を効果的に軽減し,最先端手法の性能向上のためのプラグインとして容易に利用できることがわかった。
• 参考スコア（独自算出の注目度）: 8.886027805756994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Not all positive pairs are beneficial to time series contrastive learning. In this paper, we study two types of bad positive pairs that impair the quality of time series representation learned through contrastive learning ($i.e.$, noisy positive pair and faulty positive pair). We show that, with the presence of noisy positive pairs, the model tends to simply learn the pattern of noise (Noisy Alignment). Meanwhile, when faulty positive pairs arise, the model spends considerable efforts aligning non-representative patterns (Faulty Alignment). To address this problem, we propose a Dynamic Bad Pair Mining (DBPM) algorithm, which reliably identifies and suppresses bad positive pairs in time series contrastive learning. DBPM utilizes a memory module to track the training behavior of each positive pair along training process. This allows us to identify potential bad positive pairs at each epoch based on their historical training behaviors. The identified bad pairs are then down-weighted using a transformation module. Our experimental results show that DBPM effectively mitigates the negative impacts of bad pairs, and can be easily used as a plug-in to boost performance of state-of-the-art methods. Codes will be made publicly available.
• Abstract（参考訳）: すべての正のペアが時系列の対比学習に有益ではない。 本稿では,比較学習によって学習した時系列表現の質を損なう2種類の悪い正の対(すなわち,雑音の多い正の対と不良な正の対)について検討する。 ノイズの正のペアが存在すると、モデルが単にノイズのパターン(ノイズのアライメント)を学ぶ傾向があることが分かる。 一方、欠陥のある正のペアが発生すると、モデルは非表現パターン(デフォルトアライメント)の調整にかなりの労力を費やす。 この問題に対処するために,時系列コントラスト学習における悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。 DBPMはメモリモジュールを使用して、トレーニングプロセスに沿って各正のペアのトレーニング動作を追跡する。 これにより,過去のトレーニング行動に基づいて,各時代における潜在的な悪質なペアを識別することが可能になります。 識別された悪いペアは変換モジュールを使用してダウンウェイトされる。 実験の結果,DBPMは悪いペアの負の影響を効果的に軽減し,最先端手法の性能向上のためのプラグインとして容易に利用できることがわかった。 コードは公開される予定だ。

関連論文リスト

• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Curriculum Negative Mining For Temporal Networks [33.70909189731187]
  時間的ネットワークは、時間とともにネットワークの進化する相互作用を捉えるのに有効である。 CurNMは、ネガティブサンプルの難易度を適応的に調整する、モデル対応のカリキュラム学習フレームワークである。 提案手法は, ベースライン法よりも格段に優れる。
  論文  参考訳（メタデータ） (2024-07-24T07:55:49Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• Decoupled Contrastive Multi-View Clustering with High-Order Random Walks [25.03805821839733]
  高次ランダムウォークを用いた非結合型コントラスト多視点クラスタリング(DIVIDE)と呼ばれる新しいロバストな手法を提案する。 簡単に言うと、DIVIDEはランダムウォークを利用して、局所的な方法でではなく、グローバルにデータペアを段階的に識別する。 DIVIDEは、近隣の陰性および近隣の陽性を識別できる。
  論文  参考訳（メタデータ） (2023-08-22T03:45:13Z)
• Attack-Augmentation Mixing-Contrastive Skeletal Representation Learning [41.27713346910831]
  本稿では,新たな攻撃・強化混合型骨格表現学習(A$2$MC)を提案する。 2$MCでは、アタック・オーグメンテーション(Att-Aug)は骨格の標的および未標的の摂動を協調的に行うように設計されている。 一方、PNM(Positive-Negative Mixer)は、ハードなネガティブな特徴とネガティブな特徴を混合してハードなネガティブな特徴を生成する。
  論文  参考訳（メタデータ） (2023-04-08T14:34:07Z)
• Curriculum Learning Meets Weakly Supervised Modality Correlation Learning [26.754095474534534]
  カリキュラム学習を弱教師付きモダリティ相関学習に導入する。 相関学習を支援するために,学習の難しさに応じてトレーニングペアをモデルに供給する。 提案手法は,マルチモーダル感情分析における最先端の性能に達する。
  論文  参考訳（メタデータ） (2022-12-15T05:11:04Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。