論文の概要: Probabilistic Contrastive Learning for Domain Adaptation
- arxiv url: http://arxiv.org/abs/2111.06021v5
- Date: Sun, 16 Jul 2023 14:07:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 01:09:29.463543
- Title: Probabilistic Contrastive Learning for Domain Adaptation
- Title（参考訳）: 確率的コントラスト学習によるドメイン適応
- Authors: Junjie Li, Yixin Zhang, Zilei Wang, Keyu Tu, Saihui Hou
- Abstract要約: 単純だが強力な確率的コントラスト学習(PCL)を提案する。
PCLは識別的特徴の抽出に役立ち、それらをクラスウェイトの周りにクラスタ化するように強制する。
本研究では,5つのタスクについて広範な実験を行い,一貫した性能向上を観察する。
- 参考スコア（独自算出の注目度）: 44.1232827013766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning can largely enhance the feature discriminability in a
self-supervised manner and has achieved remarkable success for various visual
tasks. However, it is undesirably observed that the standard contrastive
paradigm (features+$\ell_{2}$ normalization) only brings little help for domain
adaptation. In this work, we delve into this phenomenon and find that the main
reason is due to the class weights (weights of the final fully connected layer)
which are vital for the recognition yet ignored in the optimization. To tackle
this issue, we propose a simple yet powerful Probabilistic Contrastive Learning
(PCL), which does not only assist in extracting discriminative features but
also enforces them to be clustered around the class weights. Specifically, we
break the standard contrastive paradigm by removing $\ell_{2}$ normalization
and replacing the features with probabilities. In this way, PCL can enforce the
probability to approximate the one-hot form, thereby reducing the deviation
between the features and class weights. Benefiting from the conciseness, PCL
can be well generalized to different settings. In this work, we conduct
extensive experiments on five tasks and observe consistent performance gains,
i.e., Unsupervised Domain Adaptation (UDA), Semi-Supervised Domain Adaptation
(SSDA), Semi-Supervised Learning (SSL), UDA Detection, and UDA Semantic
Segmentation. Notably, for UDA Semantic Segmentation on SYNTHIA, PCL surpasses
the sophisticated CPSL-D by $>\!2\%$ in terms of mean IoU with a much smaller
training cost (PCL: 1*3090, 5 days v.s. CPSL-D: 4*V100, 11 days). Code is
available at https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.
- Abstract（参考訳）: コントラスト学習は、自己指導的な方法で特徴識別性を大幅に向上させ、様々な視覚的タスクにおいて顕著な成功を収めた。
しかし、標準のコントラストパラダイム (features+$\ell_{2}$ normalization) がドメイン適応にはほとんど役に立たないことは望ましくない。
本研究では,この現象を考察し,最適化において無視されている認識に不可欠であるクラス重み(最終完全連結層の重み)が主な原因であることを見出した。
この問題に対処するために,識別的特徴の抽出を支援するだけでなく,クラス重みの周囲にクラスタ化を強制する,シンプルかつ強力な確率的コントラスト学習(PCL)を提案する。
具体的には、$\ell_{2}$正規化を取り除き、機能を確率で置き換えることで、標準的なコントラストパラダイムを破る。
このようにして、PCLは1ホット形式を近似する確率を強制し、特徴量とクラス重みの間のずれを減らすことができる。
簡潔さから見れば、PCLは異なる設定によく一般化できる。
本研究では,5つのタスクに対する広範な実験を行い,一貫したパフォーマンス向上,すなわち,Unsupervised Domain Adaptation (UDA), Semi-Supervised Domain Adaptation (SSDA), Semi-Supervised Learning (SSL), UDA Detection, UDA Semantic Segmentationを観察する。
特に、SynTHIA上のUDAセマンティックセグメンテーションでは、PCLは洗練されたCPSL-Dを$>\!
2\%(PCL:1*3090,5日対CPSL-D:4*V100,11日)である。
コードはhttps://github.com/ljjcoder/Probabilistic-Contrastive-Learningで入手できる。
関連論文リスト
- Dynamic Label Injection for Imbalanced Industrial Defect Segmentation [42.841736467487785]
入力バッチに一様分布を課す動的ラベル注入(DLI)アルゴリズムを提案する。
提案アルゴリズムは,ポアソンをベースとしたシームレスな画像クローニングとカット・ペースト技術を組み合わせて,現在のバッチ欠陥分布を計算し,欠陥を転送することで再バランスする。
論文 参考訳（メタデータ） (2024-08-19T14:24:46Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning [0.9160375060389779]
クラス不均衡半教師学習(CISSL)では、信頼できない擬似ラベルによって引き起こされるバイアスは、不均衡なデータ分布によって悪化させることができる。
提案手法は、よく設計されたコントラスト的な方法で、インスタンスの表現の分布を直接正規化する。
提案手法は, CIFAR10-LT, CIFAR100-LT, STL10-LT, SVHN-LTデータセットの包括的実験により有効性を示す。
論文 参考訳（メタデータ） (2024-03-04T06:43:16Z) - Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning [74.44500692632778]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。
CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-25T11:54:07Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳（メタデータ） (2023-03-20T12:44:11Z) - Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。
本稿では,不均衡なデータに対する表現学習に着目した。
バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文 参考訳（メタデータ） (2022-07-19T03:48:59Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-07-04T13:51:29Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳（メタデータ） (2020-08-09T21:13:13Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z) - Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。
フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文 参考訳（メタデータ） (2020-04-01T19:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。