論文の概要: Conditional Contrastive Learning with Kernel
- arxiv url: http://arxiv.org/abs/2202.05458v2
- Date: Mon, 14 Feb 2022 17:19:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 13:18:33.109956
- Title: Conditional Contrastive Learning with Kernel
- Title(参考訳): カーネルを用いた条件付きコントラスト学習
- Authors: Yao-Hung Hubert Tsai, Tianqin Li, Martin Q. Ma, Han Zhao, Kun Zhang,
Louis-Philippe Morency, Ruslan Salakhutdinov
- Abstract要約: カーネルを用いた条件付きコントラスト学習(CCL-K)
本稿では,既存の条件付きコントラスト学習を,不十分なデータ問題を緩和する代替形式に変換するカーネルを用いた条件付きコントラスト学習を提案する。
CCL-Kが最先端のベースラインより優れていることを示すために,弱教師付き,公正,強負の対照的な学習を用いて実験を行った。
- 参考スコア(独自算出の注目度): 107.5989144369343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conditional contrastive learning frameworks consider the conditional sampling
procedure that constructs positive or negative data pairs conditioned on
specific variables. Fair contrastive learning constructs negative pairs, for
example, from the same gender (conditioning on sensitive information), which in
turn reduces undesirable information from the learned representations; weakly
supervised contrastive learning constructs positive pairs with similar
annotative attributes (conditioning on auxiliary information), which in turn
are incorporated into the representations. Although conditional contrastive
learning enables many applications, the conditional sampling procedure can be
challenging if we cannot obtain sufficient data pairs for some values of the
conditioning variable. This paper presents Conditional Contrastive Learning
with Kernel (CCL-K) that converts existing conditional contrastive objectives
into alternative forms that mitigate the insufficient data problem. Instead of
sampling data according to the value of the conditioning variable, CCL-K uses
the Kernel Conditional Embedding Operator that samples data from all available
data and assigns weights to each sampled data given the kernel similarity
between the values of the conditioning variable. We conduct experiments using
weakly supervised, fair, and hard negatives contrastive learning, showing CCL-K
outperforms state-of-the-art baselines.
- Abstract(参考訳): 条件付きコントラスト学習フレームワークは、特定の変数に条件付けされた正あるいは負のデータペアを構成する条件付きサンプリング手順を考える。
フェアコントラスト学習は、例えば同じ性別(センシティブな情報に関する条件付け)から負のペアを構成するが、これは学習した表現から望ましくない情報を減少させ、弱い教師付きコントラスト学習は、同様の注釈的属性(補助情報に関する条件付け)を持つ正のペアを構成する。
条件付きコントラスト学習は多くの応用が可能であるが、条件付きサンプリング手順は条件付き変数の値に対して十分なデータペアを得ることが出来なければ困難である。
本稿では,既存の条件付きコントラスト目標を不十分なデータ問題を軽減する代替形式に変換するカーネル(ccl-k)を用いた条件付きコントラスト学習について述べる。
条件変数の値に応じてデータをサンプリングする代わりに、CCL-Kはカーネル条件埋め込み演算子を使用して、利用可能なすべてのデータからデータをサンプリングし、条件変数の値とカーネルの類似性が与えられた各サンプルデータに重みを割り当てる。
CCL-Kが最先端のベースラインより優れていることを示すために,弱教師付き,公正,強負の対照的な学習を用いて実験を行った。
関連論文リスト
- Rank Supervised Contrastive Learning for Time Series Classification [19.446437832981545]
時系列分類を行うためにRankSCL(Rank Supervised Contrastive Learning)を提案する。
RankSCLは埋め込みスペースにおいて、ターゲットとする方法で生データを増強する。
異なるレベルの正のサンプルに対して異なる重みを割り当てるために、新しいランク損失が開発された。
論文 参考訳(メタデータ) (2024-01-31T18:29:10Z) - Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-01-13T11:18:18Z) - Collapse by Conditioning: Training Class-conditional GANs with Limited
Data [109.30895503994687]
非条件学習を活用することにより、観測モード崩壊を効果的に防止する条件付きGAN(cGAN)のトレーニング戦略を提案する。
我々のトレーニング戦略は、無条件のGANから始まり、徐々に条件情報をジェネレータと目的関数に注入する。
安定したトレーニングだけでなく,高品質な画像を生成するために,限られたデータでcGANを訓練する手法を提案する。
論文 参考訳(メタデータ) (2022-01-17T18:59:23Z) - Are conditional GANs explicitly conditional? [0.0]
本稿では,条件付きジェネレーティブ・アドバイザリ・ネットワーク(cGAN)に対する2つのコントリビューションを提案する。
最初の主な貢献は、cGANの分析であり、それらが明示的に条件付きでないことを示すものである。
第2のコントリビューションは、アコントラリオと呼ばれる新しい手法であり、敵アーキテクチャの両部分の条件性を明示的にモデル化する。
論文 参考訳(メタデータ) (2021-06-28T22:49:27Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳(メタデータ) (2021-05-08T17:25:08Z) - SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。
まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。
次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
論文 参考訳(メタデータ) (2021-04-18T11:27:08Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳(メタデータ) (2021-01-02T09:04:14Z) - Contrastive Learning with Hard Negative Samples [80.12117639845678]
我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。
このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。
提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
論文 参考訳(メタデータ) (2020-10-09T14:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。