論文の概要: Conditional Contrastive Learning with Kernel
- arxiv url: http://arxiv.org/abs/2202.05458v1
- Date: Fri, 11 Feb 2022 05:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 05:30:07.917036
- Title: Conditional Contrastive Learning with Kernel
- Title（参考訳）: カーネルを用いた条件付きコントラスト学習
- Authors: Yao-Hung Hubert Tsai, Tianqin Li, Martin Q. Ma, Han Zhao, Kun Zhang,
Louis-Philippe Morency, Ruslan Salakhutdinov
- Abstract要約: カーネルを用いた条件付きコントラスト学習(CCL-K)
本稿では,既存の条件付きコントラスト学習を,不十分なデータ問題を緩和する代替形式に変換するカーネルを用いた条件付きコントラスト学習を提案する。
CCL-Kが最先端のベースラインより優れていることを示すために,弱教師付き,公正,強負の対照的な学習を用いて実験を行った。
- 参考スコア（独自算出の注目度）: 107.5989144369343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conditional contrastive learning frameworks consider the conditional sampling
procedure that constructs positive or negative data pairs conditioned on
specific variables. Fair contrastive learning constructs negative pairs, for
example, from the same gender (conditioning on sensitive information), which in
turn reduces undesirable information from the learned representations; weakly
supervised contrastive learning constructs positive pairs with similar
annotative attributes (conditioning on auxiliary information), which in turn
are incorporated into the representations. Although conditional contrastive
learning enables many applications, the conditional sampling procedure can be
challenging if we cannot obtain sufficient data pairs for some values of the
conditioning variable. This paper presents Conditional Contrastive Learning
with Kernel (CCL-K) that converts existing conditional contrastive objectives
into alternative forms that mitigate the insufficient data problem. Instead of
sampling data according to the value of the conditioning variable, CCL-K uses
the Kernel Conditional Embedding Operator that samples data from all available
data and assigns weights to each sampled data given the kernel similarity
between the values of the conditioning variable. We conduct experiments using
weakly supervised, fair, and hard negatives contrastive learning, showing CCL-K
outperforms state-of-the-art baselines.
- Abstract（参考訳）: 条件付きコントラスト学習フレームワークは、特定の変数に条件付けされた正あるいは負のデータペアを構成する条件付きサンプリング手順を考える。
フェアコントラスト学習は、例えば同じ性別(センシティブな情報に関する条件付け)から負のペアを構成するが、これは学習した表現から望ましくない情報を減少させ、弱い教師付きコントラスト学習は、同様の注釈的属性(補助情報に関する条件付け)を持つ正のペアを構成する。
条件付きコントラスト学習は多くの応用が可能であるが、条件付きサンプリング手順は条件付き変数の値に対して十分なデータペアを得ることが出来なければ困難である。
本稿では,既存の条件付きコントラスト目標を不十分なデータ問題を軽減する代替形式に変換するカーネル(ccl-k)を用いた条件付きコントラスト学習について述べる。
条件変数の値に応じてデータをサンプリングする代わりに、CCL-Kはカーネル条件埋め込み演算子を使用して、利用可能なすべてのデータからデータをサンプリングし、条件変数の値とカーネルの類似性が与えられた各サンプルデータに重みを割り当てる。
CCL-Kが最先端のベースラインより優れていることを示すために,弱教師付き,公正,強負の対照的な学習を用いて実験を行った。
関連論文リスト
- ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。
ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。
我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-06-23T00:23:13Z) - Don't drop your samples! Coherence-aware training benefits Conditional diffusion [17.349357521783062]
Coherence-Aware Diffusion (CAD) は条件情報のコヒーレンスを拡散モデルに統合する新しい手法である。
CADは理論的に健全であり,様々な条件生成タスクに対して実験的に有効であることを示す。
論文 参考訳（メタデータ） (2024-05-30T17:57:26Z) - Rank Supervised Contrastive Learning for Time Series Classification [17.302643963704643]
時系列分類を行うためにRankSCL(Rank Supervised Contrastive Learning)を提案する。
RankSCLは埋め込みスペースにおいて、ターゲットとする方法で生データを増強する。
異なるレベルの正のサンプルに対して異なる重みを割り当てるために、新しいランク損失が開発された。
論文 参考訳（メタデータ） (2024-01-31T18:29:10Z) - Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-01-13T11:18:18Z) - Collapse by Conditioning: Training Class-conditional GANs with Limited
Data [109.30895503994687]
非条件学習を活用することにより、観測モード崩壊を効果的に防止する条件付きGAN(cGAN)のトレーニング戦略を提案する。
我々のトレーニング戦略は、無条件のGANから始まり、徐々に条件情報をジェネレータと目的関数に注入する。
安定したトレーニングだけでなく,高品質な画像を生成するために,限られたデータでcGANを訓練する手法を提案する。
論文 参考訳（メタデータ） (2022-01-17T18:59:23Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳（メタデータ） (2021-05-08T17:25:08Z) - SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。
まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。
次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
論文 参考訳（メタデータ） (2021-04-18T11:27:08Z) - Contrastive Learning with Hard Negative Samples [80.12117639845678]
我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。
このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。
提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
論文 参考訳（メタデータ） (2020-10-09T14:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。