論文の概要: Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2502.20612v1
• Date: Fri, 28 Feb 2025 00:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:15.013834
• Title: Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning
• Title（参考訳）: 自己教師型コントラスト学習のためのグローバル偽否定の発見
• Authors: Vicente Balmaseda, Bokun Wang, Ching-Long Lin, Tianbao Yang,
• Abstract要約: 自己教師付きコントラスト学習において、負のペアは通常、アンカー画像と、アンカーを除くデータセット全体から引き出されたサンプルを使用して構成される。 このアプローチは、"偽陰性(false negatives)"と呼ばれる、類似のセマンティクスを持つ負のペアの生成をもたらす可能性がある。 最適化に基づくアプローチであるGloFNDを導入し、各アンカーデータのしきい値を自動的に学習して、その偽陰性を識別する。
• 参考スコア（独自算出の注目度）: 43.285718479805574
• License:
• Abstract: In self-supervised contrastive learning, negative pairs are typically constructed using an anchor image and a sample drawn from the entire dataset, excluding the anchor. However, this approach can result in the creation of negative pairs with similar semantics, referred to as "false negatives", leading to their embeddings being falsely pushed apart. To address this issue, we introduce GloFND, an optimization-based approach that automatically learns on the fly the threshold for each anchor data to identify its false negatives during training. In contrast to previous methods for false negative discovery, our approach globally detects false negatives across the entire dataset rather than locally within the mini-batch. Moreover, its per-iteration computation cost remains independent of the dataset size. Experimental results on image and image-text data demonstrate the effectiveness of the proposed method. Our implementation is available at https://github.com/vibalcam/GloFND .
• Abstract（参考訳）: 自己教師付きコントラスト学習において、負のペアは通常、アンカー画像と、アンカーを除くデータセット全体から引き出されたサンプルを使用して構成される。 しかし、このアプローチは「偽陰性(false negatives)」と呼ばれる類似のセマンティクスを持つ負の対が生成され、それらの埋め込みが誤って分解される。 この問題に対処するために、最適化ベースのアプローチであるGloFNDを導入し、各アンカーデータのしきい値を自動的に学習し、トレーニング中に偽陰性を識別する。 従来の偽陰性発見法とは対照的に,本手法は,ミニバッチ内ではなく,データセット全体の偽陰性を検出する。 さらに、そのイテレーションごとの計算コストは、データセットのサイズに依存しないままである。 画像と画像のテキストデータに対する実験結果から,提案手法の有効性が示された。 私たちの実装はhttps://github.com/vibalcam/GloFNDで公開されています。

関連論文リスト

• PUAL: A Classifier on Trifurcate Positive-Unlabeled Data [29.617810881312867]
  非対称損失(PUAL)を有するPU分類器を提案する。 我々は、PUALが非線形決定境界を得ることを可能にするカーネルベースのアルゴリズムを開発した。 シミュレーションと実世界の両方のデータセットの実験を通して、PUALはトリフルケートデータの良好な分類を実現できることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:18:06Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Better Sampling of Negatives for Distantly Supervised Named Entity Recognition [39.264878763160766]
  本稿では, 正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正 提案手法は,4つの遠隔教師付きNERデータセットに対して一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2023-05-22T15:35:39Z)
• Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data [95.0476489266988]
  本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。 提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。 1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
  論文  参考訳（メタデータ） (2023-01-26T15:25:43Z)
• Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding [14.295787044482136]
  文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。 我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。 実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T08:29:25Z)
• Dense Out-of-Distribution Detection by Robust Learning on Synthetic Negative Data [1.7474352892977458]
  道路走行シーンとリモートセンシング画像における分布外異常の検出方法を示す。 我々は,カバレッジ指向学習の目的と異なる解像度でサンプルを生成する能力により,共同で訓練された正規化フローを活用する。 結果として得られたモデルは、道路走行シーンとリモートセンシング画像におけるアウト・オブ・ディストリビューション検出のためのベンチマークに、新たな技術状況を設定した。
  論文  参考訳（メタデータ） (2021-12-23T20:35:10Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。