論文の概要: Supervised Contrastive Learning with Hard Negative Samples
- arxiv url: http://arxiv.org/abs/2209.00078v1
- Date: Wed, 31 Aug 2022 19:20:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 14:01:49.962849
- Title: Supervised Contrastive Learning with Hard Negative Samples
- Title(参考訳): ハードネガティブサンプルを用いた教師付きコントラスト学習
- Authors: Ruijie Jiang, Thuan Nguyen, Prakash Ishwar, Shuchin Aeron
- Abstract要約: 本稿では,H-SCL (hard- negative supervised contrastive learning) というコントラスト学習フレームワークを提案する。
数値計算の結果、画像データセットにおける教師付きコントラスト学習(SCL)と教師付きコントラスト学習(UCL)の両方に対するH-SCLの有効性が示された。
- 参考スコア(独自算出の注目度): 25.034249090237026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised contrastive learning (UCL) is a self-supervised learning
technique that aims to learn a useful representation function by pulling
positive samples close to each other while pushing negative samples far apart
in the embedding space. To improve the performance of UCL, several works
introduced hard-negative unsupervised contrastive learning (H-UCL) that aims to
select the "hard" negative samples in contrast to a random sampling strategy
used in UCL. In another approach, under the assumption that the label
information is available, supervised contrastive learning (SCL) has developed
recently by extending the UCL to a fully-supervised setting. In this paper,
motivated by the effectiveness of hard-negative sampling strategies in H-UCL
and the usefulness of label information in SCL, we propose a contrastive
learning framework called hard-negative supervised contrastive learning
(H-SCL). Our numerical results demonstrate the effectiveness of H-SCL over both
SCL and H-UCL on several image datasets. In addition, we theoretically prove
that, under certain conditions, the objective function of H-SCL can be bounded
by the objective function of H-UCL but not by the objective function of UCL.
Thus, minimizing the H-UCL loss can act as a proxy to minimize the H-SCL loss
while minimizing UCL loss cannot. As we numerically showed that H-SCL
outperforms other contrastive learning methods, our theoretical result
(bounding H-SCL loss by H-UCL loss) helps to explain why H-UCL outperforms UCL
in practice.
- Abstract(参考訳): 非教師付きコントラスト学習(UCL)は, 正のサンプルを互いに近づきながら, 負のサンプルを埋め込み空間から遠ざけることで, 有用な表現関数を学習することを目的とした自己教師付き学習技術である。
UCLの性能を向上させるために、UCLで使われるランダムサンプリング戦略とは対照的に、「ハード」な負のサンプルを選択することを目的としたハードネガティブな非教師付きコントラスト学習(H-UCL)を導入した。
別のアプローチでは、ラベル情報が利用可能であると仮定して、uclを完全な教師付き設定に拡張することで、教師付きコントラスト学習(scl)が最近開発されている。
本稿では,H-UCLにおけるハードネガティブサンプリング戦略の有効性とラベル情報のSCLにおける有用性から,ハードネガティブ教師付きコントラスト学習(H-SCL)と呼ばれるコントラスト学習フレームワークを提案する。
以上の結果から,複数の画像データセット上でのSCLおよびH-UCLに対するH-SCLの有効性が示された。
さらに, ある条件下では, H-SCL の目的関数は H-UCL の目的関数に拘束できるが, UCL の目的関数には拘束できないことを理論的に証明する。
したがって、UCL損失を最小限に抑えつつ、H-UCL損失を最小限に抑えるためにプロキシとして機能することができる。
H-SCLが他のコントラスト学習法よりも優れていることを数値的に示すように、我々の理論的結果(H-UCLの損失によるH-SCLの損失を束縛する)は、実際、H-UCLがUCLより優れている理由を説明するのに役立ちます。
関連論文リスト
- RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。
RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。
BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
論文 参考訳(メタデータ) (2024-01-28T11:51:09Z) - On neural and dimensional collapse in supervised and unsupervised
contrastive learning with hard negative sampling [17.94266316310016]
ニューラル・コラプス(NC)を示す表現は、SCL(Supervised Contrastive Learning)、Hard-SCL(HSCL)、Unsupervised Contrastive Learning(UCL)のリスクを最小化する。
また,任意の表現マッピングに対して,HSCLとHard-UCL(HUCL)のリスクは対応するSCLとUCLのリスクによって低く抑えられていることも証明した。
論文 参考訳(メタデータ) (2023-11-09T04:40:32Z) - DimCL: Dimensional Contrastive Learning For Improving Self-Supervised
Learning [40.25324481491231]
本稿では,バッチ方向に沿ってではなく,次元方向に沿ってコントラスト学習を行う戦略を提案する。
DimCLは機能の多様性を高めることを目的としており、以前のSSLフレームワークのレギュレータとして機能する。
論文 参考訳(メタデータ) (2023-09-21T05:12:55Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳(メタデータ) (2023-07-28T09:03:19Z) - Enhancing Adversarial Contrastive Learning via Adversarial Invariant
Regularization [59.77647907277523]
Adversarial contrastive learning (ACL)は、標準コントラスト学習(SCL)を強化する技術である。
本稿では,スタイル要因からの独立性を確保するために,逆不変正規化(AIR)を提案する。
論文 参考訳(メタデータ) (2023-04-30T03:12:21Z) - A Survey on In-context Learning [56.40261564926631]
In-context Learning (ICL)は自然言語処理のための新しいパラダイムである
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
そこで我々は,訓練戦略,実証設計戦略,関連する分析など,高度な手法を整理し,議論する。
論文 参考訳(メタデータ) (2022-12-31T15:57:09Z) - Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。
非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。
実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
論文 参考訳(メタデータ) (2022-07-18T04:14:36Z) - An Asymmetric Contrastive Loss for Handling Imbalanced Datasets [0.0]
ACLと呼ばれる非対称なCLを導入し、クラス不均衡の問題に対処する。
さらに,非対称な焦点コントラスト損失(AFCL)をACLと焦点コントラスト損失の両方のさらなる一般化として提案する。
FMNISTとISIC 2018の不均衡データセットの結果、AFCLは重み付けと非重み付けの両方の分類精度でCLとFCLを上回っていることが示された。
論文 参考訳(メタデータ) (2022-07-14T17:30:13Z) - Decoupled Contrastive Learning [23.25775900388382]
我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。
NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。
われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
論文 参考訳(メタデータ) (2021-10-13T16:38:43Z) - Debiased Graph Contrastive Learning [27.560217866753938]
本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。
Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
論文 参考訳(メタデータ) (2021-10-05T13:15:59Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。