論文の概要: Probabilistic Contrastive Learning for Domain Adaptation
- arxiv url: http://arxiv.org/abs/2111.06021v5
- Date: Sun, 16 Jul 2023 14:07:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 01:09:29.463543
- Title: Probabilistic Contrastive Learning for Domain Adaptation
- Title(参考訳): 確率的コントラスト学習によるドメイン適応
- Authors: Junjie Li, Yixin Zhang, Zilei Wang, Keyu Tu, Saihui Hou
- Abstract要約: 単純だが強力な確率的コントラスト学習(PCL)を提案する。
PCLは識別的特徴の抽出に役立ち、それらをクラスウェイトの周りにクラスタ化するように強制する。
本研究では,5つのタスクについて広範な実験を行い,一貫した性能向上を観察する。
- 参考スコア(独自算出の注目度): 44.1232827013766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning can largely enhance the feature discriminability in a
self-supervised manner and has achieved remarkable success for various visual
tasks. However, it is undesirably observed that the standard contrastive
paradigm (features+$\ell_{2}$ normalization) only brings little help for domain
adaptation. In this work, we delve into this phenomenon and find that the main
reason is due to the class weights (weights of the final fully connected layer)
which are vital for the recognition yet ignored in the optimization. To tackle
this issue, we propose a simple yet powerful Probabilistic Contrastive Learning
(PCL), which does not only assist in extracting discriminative features but
also enforces them to be clustered around the class weights. Specifically, we
break the standard contrastive paradigm by removing $\ell_{2}$ normalization
and replacing the features with probabilities. In this way, PCL can enforce the
probability to approximate the one-hot form, thereby reducing the deviation
between the features and class weights. Benefiting from the conciseness, PCL
can be well generalized to different settings. In this work, we conduct
extensive experiments on five tasks and observe consistent performance gains,
i.e., Unsupervised Domain Adaptation (UDA), Semi-Supervised Domain Adaptation
(SSDA), Semi-Supervised Learning (SSL), UDA Detection, and UDA Semantic
Segmentation. Notably, for UDA Semantic Segmentation on SYNTHIA, PCL surpasses
the sophisticated CPSL-D by $>\!2\%$ in terms of mean IoU with a much smaller
training cost (PCL: 1*3090, 5 days v.s. CPSL-D: 4*V100, 11 days). Code is
available at https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.
- Abstract(参考訳): コントラスト学習は、自己指導的な方法で特徴識別性を大幅に向上させ、様々な視覚的タスクにおいて顕著な成功を収めた。
しかし、標準のコントラストパラダイム (features+$\ell_{2}$ normalization) がドメイン適応にはほとんど役に立たないことは望ましくない。
本研究では,この現象を考察し,最適化において無視されている認識に不可欠であるクラス重み(最終完全連結層の重み)が主な原因であることを見出した。
この問題に対処するために,識別的特徴の抽出を支援するだけでなく,クラス重みの周囲にクラスタ化を強制する,シンプルかつ強力な確率的コントラスト学習(PCL)を提案する。
具体的には、$\ell_{2}$正規化を取り除き、機能を確率で置き換えることで、標準的なコントラストパラダイムを破る。
このようにして、PCLは1ホット形式を近似する確率を強制し、特徴量とクラス重みの間のずれを減らすことができる。
簡潔さから見れば、PCLは異なる設定によく一般化できる。
本研究では,5つのタスクに対する広範な実験を行い,一貫したパフォーマンス向上,すなわち,Unsupervised Domain Adaptation (UDA), Semi-Supervised Domain Adaptation (SSDA), Semi-Supervised Learning (SSL), UDA Detection, UDA Semantic Segmentationを観察する。
特に、SynTHIA上のUDAセマンティックセグメンテーションでは、PCLは洗練されたCPSL-Dを$>\!
2\%(PCL:1*3090,5日対CPSL-D:4*V100,11日)である。
コードはhttps://github.com/ljjcoder/Probabilistic-Contrastive-Learningで入手できる。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-13T04:16:40Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳(メタデータ) (2023-03-20T12:44:11Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳(メタデータ) (2022-08-18T13:25:30Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-07-04T13:51:29Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳(メタデータ) (2022-03-25T05:36:26Z) - MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition [19.008505375329623]
メタラーニングによる意味的方向変換を自動学習する新しい手法を提案する。
具体的には、トレーニング中の強化戦略を動的に最適化し、小さなバランスの取れた検証セットでの損失を最小限に抑える。
論文 参考訳(メタデータ) (2021-03-23T14:31:33Z) - Understanding self-supervised Learning Dynamics without Contrastive
Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。
BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。
単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文 参考訳(メタデータ) (2021-02-12T22:57:28Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳(メタデータ) (2020-08-09T21:13:13Z) - Optimally Combining Classifiers for Semi-Supervised Learning [43.77365242185884]
本稿では,Xgboostとトランスダクティブ支援ベクトルマシンの長所を適応的に組み合わせた半教師付き学習手法を提案する。
UCIデータセットと実商業データセットの実験結果から,提案手法の5つの最先端アルゴリズムよりも優れた分類性能を示した。
論文 参考訳(メタデータ) (2020-06-07T09:28:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。