Fugu-MT 論文翻訳(概要): Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach

論文の概要: Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach

arxiv url: http://arxiv.org/abs/2302.03357v3
Date: Thu, 28 Mar 2024 11:54:32 GMT
ステータス: 処理完了
システム内更新日: 2024-03-29 22:22:33.275726
Title: Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach
Title（参考訳）: 時系列コントラスト学習の促進に向けて:動的に悪いペアマイニングアプローチ
Authors: Xiang Lan, Hanshu Yan, Shenda Hong, Mengling Feng,
Abstract要約: 悪い正のペアは、対照的な学習を通して学んだ時系列表現の質を損なう可能性がある。本稿では,悪い正のペアを確実に識別し,抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。 DBPMは、学習可能なパラメータなしで軽量なプラグインとして設計された単純なアルゴリズムである。
参考スコア（独自算出の注目度）: 21.55786509301811
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Not all positive pairs are beneficial to time series contrastive learning. In this paper, we study two types of bad positive pairs that can impair the quality of time series representation learned through contrastive learning: the noisy positive pair and the faulty positive pair. We observe that, with the presence of noisy positive pairs, the model tends to simply learn the pattern of noise (Noisy Alignment). Meanwhile, when faulty positive pairs arise, the model wastes considerable amount of effort aligning non-representative patterns (Faulty Alignment). To address this problem, we propose a Dynamic Bad Pair Mining (DBPM) algorithm, which reliably identifies and suppresses bad positive pairs in time series contrastive learning. Specifically, DBPM utilizes a memory module to dynamically track the training behavior of each positive pair along training process. This allows us to identify potential bad positive pairs at each epoch based on their historical training behaviors. The identified bad pairs are subsequently down-weighted through a transformation module, thereby mitigating their negative impact on the representation learning process. DBPM is a simple algorithm designed as a lightweight plug-in without learnable parameters to enhance the performance of existing state-of-the-art methods. Through extensive experiments conducted on four large-scale, real-world time series datasets, we demonstrate DBPM's efficacy in mitigating the adverse effects of bad positive pairs.
Abstract（参考訳）: すべての正のペアが時系列の対照的な学習に有益であるとは限らない。本稿では,逆学習によって学習される時系列表現の質を損なう2種類の悪い正の対,雑音の正の対と不良の正の対について検討する。ノイズ正ペアの存在下では、モデルは単にノイズのパターンを学習する傾向がある(ノイズアライメント)。一方、欠陥のある正のペアが発生すると、モデルは非表現的パターン(フォーティアライメント)を整列させるのにかなりの労力を浪費する。この問題に対処するために、時系列のコントラスト学習において、悪い正のペアを確実に識別し、抑制する動的バッドペアマイニング(DBPM)アルゴリズムを提案する。具体的には、メモリモジュールを使用して、トレーニングプロセスに沿って各正のペアのトレーニング動作を動的に追跡する。これにより、過去のトレーニング行動に基づいて、各エポックにおける潜在的な悪い正のペアを特定できる。識別された悪いペアはその後、変換モジュールを通じて低重み付けされ、それによって表現学習プロセスに対する負の影響を軽減します。 DBPMは、既存の最先端手法の性能を高めるために、学習可能なパラメータなしで軽量なプラグインとして設計された単純なアルゴリズムである。 4つの大規模な実世界の時系列データセットで実施された広範な実験を通して、悪い正のペアの悪影響を緩和するDBPMの有効性を実証する。

関連論文リスト

Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
論文参考訳（メタデータ） (2024-08-30T15:39:34Z)
Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
論文参考訳（メタデータ） (2024-08-09T14:17:52Z)
Curriculum Negative Mining For Temporal Networks [33.70909189731187]
時間的ネットワークは、時間とともにネットワークの進化する相互作用を捉えるのに有効である。 CurNMは、ネガティブサンプルの難易度を適応的に調整する、モデル対応のカリキュラム学習フレームワークである。提案手法は, ベースライン法よりも格段に優れる。
論文参考訳（メタデータ） (2024-07-24T07:55:49Z)
Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文参考訳（メタデータ） (2024-01-13T11:18:18Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文参考訳（メタデータ） (2023-11-07T08:27:14Z)
REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文参考訳（メタデータ） (2023-11-01T13:44:45Z)
Decoupled Contrastive Multi-View Clustering with High-Order Random Walks [25.03805821839733]
高次ランダムウォークを用いた非結合型コントラスト多視点クラスタリング(DIVIDE)と呼ばれる新しいロバストな手法を提案する。簡単に言うと、DIVIDEはランダムウォークを利用して、局所的な方法でではなく、グローバルにデータペアを段階的に識別する。 DIVIDEは、近隣の陰性および近隣の陽性を識別できる。
論文参考訳（メタデータ） (2023-08-22T03:45:13Z)
Attack-Augmentation Mixing-Contrastive Skeletal Representation Learning [41.27713346910831]
本稿では,新たな攻撃・強化混合型骨格表現学習(A$2$MC)を提案する。 2$MCでは、アタック・オーグメンテーション(Att-Aug)は骨格の標的および未標的の摂動を協調的に行うように設計されている。一方、PNM(Positive-Negative Mixer)は、ハードなネガティブな特徴とネガティブな特徴を混合してハードなネガティブな特徴を生成する。
論文参考訳（メタデータ） (2023-04-08T14:34:07Z)
Curriculum Learning Meets Weakly Supervised Modality Correlation Learning [26.754095474534534]
カリキュラム学習を弱教師付きモダリティ相関学習に導入する。相関学習を支援するために,学習の難しさに応じてトレーニングペアをモデルに供給する。提案手法は,マルチモーダル感情分析における最先端の性能に達する。
論文参考訳（メタデータ） (2022-12-15T05:11:04Z)
Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文参考訳（メタデータ） (2022-01-12T05:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。