論文の概要: Supervised Contrastive Learning with Hard Negative Samples
- arxiv url: http://arxiv.org/abs/2209.00078v1
- Date: Wed, 31 Aug 2022 19:20:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 14:01:49.962849
- Title: Supervised Contrastive Learning with Hard Negative Samples
- Title（参考訳）: ハードネガティブサンプルを用いた教師付きコントラスト学習
- Authors: Ruijie Jiang, Thuan Nguyen, Prakash Ishwar, Shuchin Aeron
- Abstract要約: 本稿では,H-SCL (hard- negative supervised contrastive learning) というコントラスト学習フレームワークを提案する。
数値計算の結果、画像データセットにおける教師付きコントラスト学習(SCL)と教師付きコントラスト学習(UCL)の両方に対するH-SCLの有効性が示された。
- 参考スコア（独自算出の注目度）: 25.034249090237026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised contrastive learning (UCL) is a self-supervised learning
technique that aims to learn a useful representation function by pulling
positive samples close to each other while pushing negative samples far apart
in the embedding space. To improve the performance of UCL, several works
introduced hard-negative unsupervised contrastive learning (H-UCL) that aims to
select the "hard" negative samples in contrast to a random sampling strategy
used in UCL. In another approach, under the assumption that the label
information is available, supervised contrastive learning (SCL) has developed
recently by extending the UCL to a fully-supervised setting. In this paper,
motivated by the effectiveness of hard-negative sampling strategies in H-UCL
and the usefulness of label information in SCL, we propose a contrastive
learning framework called hard-negative supervised contrastive learning
(H-SCL). Our numerical results demonstrate the effectiveness of H-SCL over both
SCL and H-UCL on several image datasets. In addition, we theoretically prove
that, under certain conditions, the objective function of H-SCL can be bounded
by the objective function of H-UCL but not by the objective function of UCL.
Thus, minimizing the H-UCL loss can act as a proxy to minimize the H-SCL loss
while minimizing UCL loss cannot. As we numerically showed that H-SCL
outperforms other contrastive learning methods, our theoretical result
(bounding H-SCL loss by H-UCL loss) helps to explain why H-UCL outperforms UCL
in practice.
- Abstract（参考訳）: 非教師付きコントラスト学習(UCL)は, 正のサンプルを互いに近づきながら, 負のサンプルを埋め込み空間から遠ざけることで, 有用な表現関数を学習することを目的とした自己教師付き学習技術である。
UCLの性能を向上させるために、UCLで使われるランダムサンプリング戦略とは対照的に、「ハード」な負のサンプルを選択することを目的としたハードネガティブな非教師付きコントラスト学習(H-UCL)を導入した。
別のアプローチでは、ラベル情報が利用可能であると仮定して、uclを完全な教師付き設定に拡張することで、教師付きコントラスト学習(scl)が最近開発されている。
本稿では,H-UCLにおけるハードネガティブサンプリング戦略の有効性とラベル情報のSCLにおける有用性から,ハードネガティブ教師付きコントラスト学習(H-SCL)と呼ばれるコントラスト学習フレームワークを提案する。
以上の結果から,複数の画像データセット上でのSCLおよびH-UCLに対するH-SCLの有効性が示された。
さらに, ある条件下では, H-SCL の目的関数は H-UCL の目的関数に拘束できるが, UCL の目的関数には拘束できないことを理論的に証明する。
したがって、UCL損失を最小限に抑えつつ、H-UCL損失を最小限に抑えるためにプロキシとして機能することができる。
H-SCLが他のコントラスト学習法よりも優れていることを数値的に示すように、我々の理論的結果(H-UCLの損失によるH-SCLの損失を束縛する)は、実際、H-UCLがUCLより優れている理由を説明するのに役立ちます。
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-01-13T11:18:18Z) - Elucidating and Overcoming the Challenges of Label Noise in Supervised
Contrastive Learning [7.439049772394586]
本稿では,誤りのラベル付けによるバイアス軽減を目的とした,Debiased Supervised Contrastive Learningの新たな目標を提案する。
D-SCLは、様々な視覚ベンチマークにおいて、表現学習の最先端技術より一貫して優れていることを実証する。
論文 参考訳（メタデータ） (2023-11-25T10:04:42Z) - Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse [16.42457033976047]
ニューラル・コラプス(NC)を示す表現によって、SCL(Servised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)の損失が最小化されることを実証する。
また、任意の表現写像に対して、HSCLとHard-UCL(HUCL)の損失は対応するSCLとUCLの損失によって低く抑えられていることを証明した。
論文 参考訳（メタデータ） (2023-11-09T04:40:32Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-24T18:49:26Z) - An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。
さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。
FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
論文 参考訳（メタデータ） (2022-07-14T17:30:13Z) - Conditional Contrastive Learning with Kernel [107.5989144369343]
カーネルを用いた条件付きコントラスト学習(CCL-K)
本稿では,既存の条件付きコントラスト学習を,不十分なデータ問題を緩和する代替形式に変換するカーネルを用いた条件付きコントラスト学習を提案する。
CCL-Kが最先端のベースラインより優れていることを示すために,弱教師付き,公正,強負の対照的な学習を用いて実験を行った。
論文 参考訳（メタデータ） (2022-02-11T05:37:54Z) - Debiased Graph Contrastive Learning [27.560217866753938]
本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。
Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
論文 参考訳（メタデータ） (2021-10-05T13:15:59Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳（メタデータ） (2021-05-08T17:25:08Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳（メタデータ） (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。