論文の概要: Supervised Contrastive Learning with Hard Negative Samples

• arxiv url: http://arxiv.org/abs/2209.00078v2
• Date: Fri, 10 May 2024 04:25:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 20:56:05.873590
• Title: Supervised Contrastive Learning with Hard Negative Samples
• Title（参考訳）: ハード負のサンプルを用いた教師付きコントラスト学習
• Authors: Ruijie Jiang, Thuan Nguyen, Prakash Ishwar, Shuchin Aeron,
• Abstract要約: 対照的学習(CL)では、正のサンプルを互いに近づき、有用な表現関数を学習する。 クラス情報がない場合、負のサンプルはアンカーとは無関係にランダムに選択される。 Supervised CL (SCL) は、アンカーとラベルが異なるサンプルに対して負のサンプリング分布を条件にすることで、このクラス衝突を避ける。
• 参考スコア（独自算出の注目度）: 16.42457033976047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Through minimization of an appropriate loss function such as the InfoNCE loss, contrastive learning (CL) learns a useful representation function by pulling positive samples close to each other while pushing negative samples far apart in the embedding space. The positive samples are typically created using "label-preserving" augmentations, i.e., domain-specific transformations of a given datum or anchor. In absence of class information, in unsupervised CL (UCL), the negative samples are typically chosen randomly and independently of the anchor from a preset negative sampling distribution over the entire dataset. This leads to class-collisions in UCL. Supervised CL (SCL), avoids this class collision by conditioning the negative sampling distribution to samples having labels different from that of the anchor. In hard-UCL (H-UCL), which has been shown to be an effective method to further enhance UCL, the negative sampling distribution is conditionally tilted, by means of a hardening function, towards samples that are closer to the anchor. Motivated by this, in this paper we propose hard-SCL (H-SCL) {wherein} the class conditional negative sampling distribution {is tilted} via a hardening function. Our simulation results confirm the utility of H-SCL over SCL with significant performance gains {in downstream classification tasks.} Analytically, we show that {in the} limit of infinite negative samples per anchor and a suitable assumption, the {H-SCL loss} is upper bounded by the {H-UCL loss}, thereby justifying the utility of H-UCL {for controlling} the H-SCL loss in the absence of label information. Through experiments on several datasets, we verify the assumption as well as the claimed inequality between H-UCL and H-SCL losses. We also provide a plausible scenario where H-SCL loss is lower bounded by UCL loss, indicating the limited utility of UCL in controlling the H-SCL loss.
• Abstract（参考訳）: InfoNCE損失などの適切な損失関数の最小化により、コントラッシブラーニング(CL)は、埋め込み空間から遠く離れた負のサンプルを押しながら、互いに近い正のサンプルを引いて有用な表現関数を学習する。 正のサンプルは、典型的には「ラベル保存」(label-serving)拡張、すなわち、与えられたダタムまたはアンカーのドメイン固有の変換を用いて作成される。 クラス情報がない場合、教師なしCL(UCL)では、正のサンプルは通常、データセット全体にわたって予め設定された負のサンプリング分布からアンカーからランダムに独立に選択される。 これはUCLのクラス衝突につながる。 Supervised CL (SCL) は、アンカーとラベルが異なるサンプルに対して負のサンプリング分布を条件にすることで、このクラス衝突を回避する。 UCLをさらに強化する有効な方法として示されているハードUCL(H-UCL)において、負のサンプリング分布は、硬化関数を用いて、アンカーに近い試料に向かって条件的に傾いている。 そこで本論文では, ハードSCL(H-SCL) {wherein} クラス条件付き負サンプリング分布 {is tilted} をハードニング関数を介して提案する。 シミュレーションの結果,SCL上でのH-SCLの有用性を実証した。 解析的に、アンカー毎の無限負のサンプルの極限と適切な仮定において、 {H-SCL損失} は {H-UCL損失} によって上界となり、ラベル情報がない場合の H-UCL {for control} H-SCL損失の正当性を示す。 いくつかのデータセットの実験を通して、仮定と、H-UCLとH-SCL損失の間の不等式を検証した。 また,UCL損失によるH-SCL損失の低減を図り,H-SCL損失の制御におけるUCLの限界効果を示す。

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Elucidating and Overcoming the Challenges of Label Noise in Supervised Contrastive Learning [7.439049772394586]
  本稿では,誤りのラベル付けによるバイアス軽減を目的とした,Debiased Supervised Contrastive Learningの新たな目標を提案する。 D-SCLは、様々な視覚ベンチマークにおいて、表現学習の最先端技術より一貫して優れていることを実証する。
  論文  参考訳（メタデータ） (2023-11-25T10:04:42Z)
• On neural and dimensional collapse in supervised and unsupervised contrastive learning with hard negative sampling [17.94266316310016]
  ニューラル・コラプス(NC)を示す表現は、SCL(Supervised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)のリスクを最小化する。 また,任意の表現マッピングに対して,HSCLとHard-UCL(HUCL)のリスクは対応するSCLとUCLのリスクによって低く抑えられていることも証明した。
  論文  参考訳（メタデータ） (2023-11-09T04:40:32Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
  ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。 さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。 FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T17:30:13Z)
• Conditional Contrastive Learning with Kernel [107.5989144369343]
  カーネルを用いた条件付きコントラスト学習(CCL-K) 本稿では,既存の条件付きコントラスト学習を,不十分なデータ問題を緩和する代替形式に変換するカーネルを用いた条件付きコントラスト学習を提案する。 CCL-Kが最先端のベースラインより優れていることを示すために,弱教師付き,公正,強負の対照的な学習を用いて実験を行った。
  論文  参考訳（メタデータ） (2022-02-11T05:37:54Z)
• Debiased Graph Contrastive Learning [27.560217866753938]
  本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
  論文  参考訳（メタデータ） (2021-10-05T13:15:59Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。