論文の概要: Probabilistic Contrastive Learning for Domain Adaptation
- arxiv url: http://arxiv.org/abs/2111.06021v6
- Date: Sat, 8 Jun 2024 09:03:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 01:45:51.259215
- Title: Probabilistic Contrastive Learning for Domain Adaptation
- Title（参考訳）: ドメイン適応のための確率論的コントラスト学習
- Authors: Junjie Li, Yixin Zhang, Zilei Wang, Saihui Hou, Keyu Tu, Man Zhang,
- Abstract要約: コントラスト学習は、様々な視覚的タスクにおいて、自己指導的な方法で特徴識別性を高めることに顕著な成功を収めた。
標準コントラッシブパラダイム (Features+$ell_2$ normalization) は、ドメイン適応に適用した場合の利点に制限がある。
本稿では,標準パラダイムを超える確率論的コントラスト学習(PCL)を提案する。
PCLは、確率分布を1ホット構成に導くことができ、特徴とクラス重みの差を最小限に抑えることができる。
- 参考スコア（独自算出の注目度）: 42.33633916857581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning has shown impressive success in enhancing feature discriminability for various visual tasks in a self-supervised manner, but the standard contrastive paradigm (features+$\ell_{2}$ normalization) has limited benefits when applied in domain adaptation. We find that this is mainly because the class weights (weights of the final fully connected layer) are ignored in the domain adaptation optimization process, which makes it difficult for features to cluster around the corresponding class weights. To solve this problem, we propose the \emph{simple but powerful} Probabilistic Contrastive Learning (PCL), which moves beyond the standard paradigm by removing $\ell_{2}$ normalization and replacing the features with probabilities. PCL can guide the probability distribution towards a one-hot configuration, thus minimizing the discrepancy between features and class weights. We conduct extensive experiments to validate the effectiveness of PCL and observe consistent performance gains on five tasks, i.e., Unsupervised/Semi-Supervised Domain Adaptation (UDA/SSDA), Semi-Supervised Learning (SSL), UDA Detection and Semantic Segmentation. Notably, for UDA Semantic Segmentation on SYNTHIA, PCL surpasses the sophisticated CPSL-D by $>\!2\%$ in terms of mean IoU with a much lower training cost (PCL: 1*3090, 5 days v.s. CPSL-D: 4*V100, 11 days). Code is available at https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.
- Abstract（参考訳）: コントラスト学習は、様々な視覚的タスクに対する特徴識別性を自己指導的に向上させることに成功したが、標準的なコントラストパラダイム(Features+$\ell_{2}$ normalization)は、ドメイン適応に適用した場合のメリットが限られている。
これは主に、クラス重み(最終完全連結層の重み)がドメイン適応最適化プロセスで無視されるため、対応するクラス重みの周りに特徴が集まるのが難しくなるためである。
この問題を解決するために, 標準パラダイムを超えて, $$\ell_{2}$正規化を除去し, 特徴を確率で置き換える「emph{simple but powerful} Probabilistic Contrastive Learning (PCL)」を提案する。
PCLは、確率分布を1ホット構成に導くことができ、特徴とクラス重みの差を最小限に抑えることができる。
我々は,PCLの有効性を検証し,Unsupervised/Semi-Supervised Domain Adaptation (UDA/SSDA), Semi-Supervised Learning (SSL), UDA Detection and Semantic Segmentation の5つのタスクにおいて,一貫した性能向上を観察する広範囲な実験を行った。
特に、SynTHIA上のUDAセマンティックセグメンテーションでは、PCLは洗練されたCPSL-Dを$>\!
2\%(PCL:1*3090,5日対CPSL-D:4*V100,11日)である。
コードはhttps://github.com/ljjcoder/Probabilistic-Contrastive-Learningで入手できる。
関連論文リスト
- Dynamic Label Injection for Imbalanced Industrial Defect Segmentation [42.841736467487785]
入力バッチに一様分布を課す動的ラベル注入(DLI)アルゴリズムを提案する。
提案アルゴリズムは,ポアソンをベースとしたシームレスな画像クローニングとカット・ペースト技術を組み合わせて,現在のバッチ欠陥分布を計算し,欠陥を転送することで再バランスする。
論文 参考訳（メタデータ） (2024-08-19T14:24:46Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning [0.9160375060389779]
クラス不均衡半教師学習(CISSL)では、信頼できない擬似ラベルによって引き起こされるバイアスは、不均衡なデータ分布によって悪化させることができる。
提案手法は、よく設計されたコントラスト的な方法で、インスタンスの表現の分布を直接正規化する。
提案手法は, CIFAR10-LT, CIFAR100-LT, STL10-LT, SVHN-LTデータセットの包括的実験により有効性を示す。
論文 参考訳（メタデータ） (2024-03-04T06:43:16Z) - Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning [74.44500692632778]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。
CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-25T11:54:07Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳（メタデータ） (2023-03-20T12:44:11Z) - Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。
本稿では,不均衡なデータに対する表現学習に着目した。
バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文 参考訳（メタデータ） (2022-07-19T03:48:59Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-07-04T13:51:29Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳（メタデータ） (2020-08-09T21:13:13Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z) - Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。
フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文 参考訳（メタデータ） (2020-04-01T19:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。