論文の概要: Contrastive Learning with Hard Negative Samples

• arxiv url: http://arxiv.org/abs/2010.04592v2
• Date: Sun, 24 Jan 2021 22:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:49:34.137661
• Title: Contrastive Learning with Hard Negative Samples
• Title（参考訳）: ハードネガティブサンプルを用いたコントラスト学習
• Authors: Joshua Robinson, Ching-Yao Chuang, Suvrit Sra, Stefanie Jegelka
• Abstract要約: 我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
• 参考スコア（独自算出の注目度）: 80.12117639845678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can you sample good negative examples for contrastive learning? We argue that, as with metric learning, contrastive learning of representations benefits from hard negative samples (i.e., points that are difficult to distinguish from an anchor point). The key challenge toward using hard negatives is that contrastive methods must remain unsupervised, making it infeasible to adopt existing negative sampling strategies that use true similarity information. In response, we develop a new family of unsupervised sampling methods for selecting hard negative samples where the user can control the hardness. A limiting case of this sampling results in a representation that tightly clusters each class, and pushes different classes as far apart as possible. The proposed method improves downstream performance across multiple modalities, requires only few additional lines of code to implement, and introduces no computational overhead.
• Abstract（参考訳）: 対照的な学習のために、どのように良いネガティブな例をサンプルできますか? 計量学習と同様に、表現の対照的な学習は、強い負のサンプル(すなわち、アンカーポイントと区別が難しい点)から恩恵を受けると論じる。 ハードネガティブを使用する上で重要な課題は、コントラスト的手法は教師なしのままでなければならないことであり、真の類似性情報を使用する既存のネガティブサンプリング戦略を採用することは不可能である。 そこで本研究では,ユーザが硬さを制御できる硬い負のサンプルを選択するための教師なしサンプリング法を新たに開発した。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は,複数のモードにまたがるダウンストリーム性能を改善し,実装に必要なコード行数を少なくし,計算オーバーヘッドを発生しない。

関連論文リスト

• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
  InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。 目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。 トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。 偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:15:57Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• Hard Negative Sampling Strategies for Contrastive Representation Learning [4.1531215150301035]
  UnReMixは、アンカーの類似性、モデルの不確実性、代表性を考慮に入れた、ハードネガティブなサンプリング戦略である。 いくつかのベンチマークによる実験結果から,UnReMixは正のサンプル選択を改良し,その後,最先端のコントラスト学習法と比較した場合の下流性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-02T17:55:15Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。