論文の概要: Semantic-aware Representation Learning Via Probability Contrastive Loss
- arxiv url: http://arxiv.org/abs/2111.06021v1
- Date: Thu, 11 Nov 2021 02:08:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-13 00:44:04.807818
- Title: Semantic-aware Representation Learning Via Probability Contrastive Loss
- Title(参考訳): 確率コントラスト損失による意味認識表現学習
- Authors: Junjie Li, Yixin Zhang, Zilei Wang, Keyu Tu
- Abstract要約: 近年のFCLは,教師なし表現学習において有望な性能を示した。
本稿では,リッチな特徴を生み出すだけでなく,クラスプロトタイプの周辺に分散させる新しい確率コントラスト学習(PCL)を提案する。
- 参考スコア(独自算出の注目度): 30.7072915516357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent feature contrastive learning (FCL) has shown promising performance in
unsupervised representation learning. For the close-set representation learning
where labeled data and unlabeled data belong to the same semantic space,
however, FCL cannot show overwhelming gains due to not involving the class
semantics during optimization. Consequently, the produced features do not
guarantee to be easily classified by the class weights learned from labeled
data although they are information-rich. To tackle this issue, we propose a
novel probability contrastive learning (PCL) in this paper, which not only
produces rich features but also enforces them to be distributed around the
class prototypes. Specifically, we propose to use the output probabilities
after softmax to perform contrastive learning instead of the extracted features
in FCL. Evidently, such a way can exploit the class semantics during
optimization. Moreover, we propose to remove the $\ell_{2}$ normalization in
the traditional FCL and directly use the $\ell_{1}$-normalized probability for
contrastive learning. Our proposed PCL is simple and effective. We conduct
extensive experiments on three close-set image classification tasks, i.e.,
unsupervised domain adaptation, semi-supervised learning, and semi-supervised
domain adaptation. The results on multiple datasets demonstrate that our PCL
can consistently get considerable gains and achieves the state-of-the-art
performance for all three tasks.
- Abstract(参考訳): 近年のFCLは,教師なし表現学習において有望な性能を示した。
しかし、ラベル付きデータとラベルなしデータが同じ意味空間に属するクローズセット表現学習の場合、fclは最適化中にクラスセマンティクスを含まないため、圧倒的な利益を示すことができない。
したがって、生成された特徴は、情報豊富なにもかかわらずラベル付きデータから学習したクラス重みによって容易に分類されることを保証しない。
この問題に対処するため,本論文では,リッチな特徴を生み出すだけでなく,クラスプロトタイプの周辺に分散させることを強制する新しい確率コントラスト学習(PCL)を提案する。
具体的には,FCLの抽出特徴の代わりにソフトマックス後の出力確率を用いてコントラスト学習を行う。
このような方法は、最適化中にクラスセマンティクスを利用することができる。
さらに,従来のfclにおける$\ell_{2}$正規化を除去し,比較学習に$\ell_{1}$正規化確率を直接使用することを提案する。
提案するPCLは単純かつ効果的である。
本研究では,教師なし領域適応,半教師付き学習,半教師付き領域適応という,3つの近接画像分類タスクについて広範な実験を行った。
複数のデータセットから得られた結果から,PCLが一定に向上し,3つのタスクすべてに対して最先端のパフォーマンスを達成できることが示される。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-13T04:16:40Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳(メタデータ) (2023-03-20T12:44:11Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳(メタデータ) (2022-08-18T13:25:30Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-07-04T13:51:29Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳(メタデータ) (2022-03-25T05:36:26Z) - MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition [19.008505375329623]
メタラーニングによる意味的方向変換を自動学習する新しい手法を提案する。
具体的には、トレーニング中の強化戦略を動的に最適化し、小さなバランスの取れた検証セットでの損失を最小限に抑える。
論文 参考訳(メタデータ) (2021-03-23T14:31:33Z) - Understanding self-supervised Learning Dynamics without Contrastive
Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。
BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。
単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文 参考訳(メタデータ) (2021-02-12T22:57:28Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳(メタデータ) (2020-08-09T21:13:13Z) - Optimally Combining Classifiers for Semi-Supervised Learning [43.77365242185884]
本稿では,Xgboostとトランスダクティブ支援ベクトルマシンの長所を適応的に組み合わせた半教師付き学習手法を提案する。
UCIデータセットと実商業データセットの実験結果から,提案手法の5つの最先端アルゴリズムよりも優れた分類性能を示した。
論文 参考訳(メタデータ) (2020-06-07T09:28:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。