論文の概要: Rethinking Positive Sampling for Contrastive Learning with Kernel
- arxiv url: http://arxiv.org/abs/2206.01646v1
- Date: Fri, 3 Jun 2022 15:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-06 17:06:07.178954
- Title: Rethinking Positive Sampling for Contrastive Learning with Kernel
- Title（参考訳）: カーネルを用いたコントラスト学習におけるポジティブサンプリングの再考
- Authors: Benoit Dufumier, Carlo Alberto Barbano, Robin Louiset, Edouard
Duchesnay, Pietro Gori
- Abstract要約: 本稿では,カーネル理論を用いて正のサンプルを新たに定義する手法を提案する。
教師なしの環境では、データ拡張に頼らないために、VAEやGANのような生成モデルからCLが恩恵を受けることを実証的に示します。
- 参考スコア（独自算出の注目度）: 4.050766659420731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data augmentation is a crucial component in unsupervised contrastive learning
(CL). It determines how positive samples are defined and, ultimately, the
quality of the representation. While efficient augmentations have been found
for standard vision datasets, such as ImageNet, it is still an open problem in
other applications, such as medical imaging, or in datasets with easy-to-learn
but irrelevant imaging features. In this work, we propose a new way to define
positive samples using kernel theory along with a novel loss called decoupled
uniformity. We propose to integrate prior information, learnt from generative
models or given as auxiliary attributes, into contrastive learning, to make it
less dependent on data augmentation. We draw a connection between contrastive
learning and the conditional mean embedding theory to derive tight bounds on
the downstream classification loss. In an unsupervised setting, we empirically
demonstrate that CL benefits from generative models, such as VAE and GAN, to
less rely on data augmentations. We validate our framework on vision datasets
including CIFAR10, CIFAR100, STL10 and ImageNet100 and a brain MRI dataset. In
the weakly supervised setting, we demonstrate that our formulation provides
state-of-the-art results.
- Abstract（参考訳）: データ強化は教師なしコントラスト学習(CL)において重要な要素である。
正のサンプルがどのように定義され、最終的に表現の品質が決定される。
imagenetのような標準的なビジョンデータセットでは、効率的な拡張が発見されているが、医療画像などの他のアプリケーションや、分かりやすいが無関係な画像機能を持つデータセットでは、まだ未解決の問題である。
そこで本研究では,カーネル理論を用いて正のサンプルを新たに定義する手法と,分離均一性(decoupled uniformity)と呼ばれる新たな損失を提案する。
本研究では,生成モデルから学習した先行情報や補助属性を対比学習に統合し,データ拡張への依存を減らすことを提案する。
本研究では, コントラスト学習と条件付き平均埋め込み理論との関係を描き, 下流分類損失の厳密な境界を導出する。
教師なしの環境では、データ拡張に頼らないために、VAEやGANのような生成モデルによるCLの利点を実証的に実証する。
CIFAR10, CIFAR100, STL10, ImageNet100などの視覚データセットと脳MRIデータセットの枠組みを検証する。
弱教師付き環境では、我々の定式化が最先端の結果をもたらすことを示す。
関連論文リスト
- Improved Feature Generating Framework for Transductive Zero-shot Learning [31.656888766677664]
特徴生成適応ネットワークは、目に見えないクラスの高品質な表現を生成するために強力な生成モデルとして登場した。
ゼロショット学習(TZSL)の枠組みにおける未確認クラス事前の重要影響について考察する。
PFA学習(Pseudo-conditional Feature Adversarial)とVER学習(VER)の2つの新しいコンポーネントを組み込んだ改良型特徴生成フレームワークI-VAEGANを紹介する。
論文 参考訳（メタデータ） (2024-12-24T08:42:16Z) - Masked Reconstruction Contrastive Learning with Information Bottleneck
Principle [9.136962881499734]
コントラスト学習(CL)は、自己指導型学習において大きな力を示している。
現在のCLモデルは、正と負のペアを区別する能力のみを学ぶことに偏っている。
CLモデルを改善するために,Masked Reconstruction Contrastive Learning(MRCL)モデルを提案する。
論文 参考訳（メタデータ） (2022-11-15T15:20:52Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳（メタデータ） (2022-11-10T05:29:43Z) - Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。
本稿では,教師付きコントラスト学習による不公平性を初めて分析する。
提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
論文 参考訳（メタデータ） (2022-03-30T11:16:18Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:36:26Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳（メタデータ） (2021-11-01T17:59:43Z) - Complementary Calibration: Boosting General Continual Learning with
Collaborative Distillation and Self-Supervision [47.374412281270594]
General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。
破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。
補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-03T06:35:27Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳（メタデータ） (2021-08-05T15:58:25Z) - Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive
Learners With FlatNCE [104.37515476361405]
比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。
この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
論文 参考訳（メタデータ） (2021-07-02T15:50:43Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。