Fugu-MT 論文翻訳(概要): Semantic-aware Representation Learning Via Probability Contrastive Loss

論文の概要: Semantic-aware Representation Learning Via Probability Contrastive Loss

arxiv url: http://arxiv.org/abs/2111.06021v1
Date: Thu, 11 Nov 2021 02:08:07 GMT
ステータス: 処理完了
システム内更新日: 2021-11-13 00:44:04.807818
Title: Semantic-aware Representation Learning Via Probability Contrastive Loss
Title（参考訳）: 確率コントラスト損失による意味認識表現学習
Authors: Junjie Li, Yixin Zhang, Zilei Wang, Keyu Tu
Abstract要約: 近年のFCLは,教師なし表現学習において有望な性能を示した。本稿では,リッチな特徴を生み出すだけでなく,クラスプロトタイプの周辺に分散させる新しい確率コントラスト学習(PCL)を提案する。
参考スコア（独自算出の注目度）: 30.7072915516357
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent feature contrastive learning (FCL) has shown promising performance in unsupervised representation learning. For the close-set representation learning where labeled data and unlabeled data belong to the same semantic space, however, FCL cannot show overwhelming gains due to not involving the class semantics during optimization. Consequently, the produced features do not guarantee to be easily classified by the class weights learned from labeled data although they are information-rich. To tackle this issue, we propose a novel probability contrastive learning (PCL) in this paper, which not only produces rich features but also enforces them to be distributed around the class prototypes. Specifically, we propose to use the output probabilities after softmax to perform contrastive learning instead of the extracted features in FCL. Evidently, such a way can exploit the class semantics during optimization. Moreover, we propose to remove the $\ell_{2}$ normalization in the traditional FCL and directly use the $\ell_{1}$-normalized probability for contrastive learning. Our proposed PCL is simple and effective. We conduct extensive experiments on three close-set image classification tasks, i.e., unsupervised domain adaptation, semi-supervised learning, and semi-supervised domain adaptation. The results on multiple datasets demonstrate that our PCL can consistently get considerable gains and achieves the state-of-the-art performance for all three tasks.
Abstract（参考訳）: 近年のFCLは,教師なし表現学習において有望な性能を示した。しかし、ラベル付きデータとラベルなしデータが同じ意味空間に属するクローズセット表現学習の場合、fclは最適化中にクラスセマンティクスを含まないため、圧倒的な利益を示すことができない。したがって、生成された特徴は、情報豊富なにもかかわらずラベル付きデータから学習したクラス重みによって容易に分類されることを保証しない。この問題に対処するため,本論文では,リッチな特徴を生み出すだけでなく,クラスプロトタイプの周辺に分散させることを強制する新しい確率コントラスト学習(PCL)を提案する。具体的には,FCLの抽出特徴の代わりにソフトマックス後の出力確率を用いてコントラスト学習を行う。このような方法は、最適化中にクラスセマンティクスを利用することができる。さらに,従来のfclにおける$\ell_{2}$正規化を除去し,比較学習に$\ell_{1}$正規化確率を直接使用することを提案する。提案するPCLは単純かつ効果的である。本研究では,教師なし領域適応,半教師付き学習,半教師付き領域適応という,3つの近接画像分類タスクについて広範な実験を行った。複数のデータセットから得られた結果から,PCLが一定に向上し,3つのタスクすべてに対して最先端のパフォーマンスを達成できることが示される。

関連論文リスト

Dynamic Label Injection for Imbalanced Industrial Defect Segmentation [42.841736467487785]
入力バッチに一様分布を課す動的ラベル注入(DLI)アルゴリズムを提案する。提案アルゴリズムは,ポアソンをベースとしたシームレスな画像クローニングとカット・ペースト技術を組み合わせて,現在のバッチ欠陥分布を計算し,欠陥を転送することで再バランスする。
論文参考訳（メタデータ） (2024-08-19T14:24:46Z)
Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-11T13:44:49Z)
BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning [0.9160375060389779]
クラス不均衡半教師学習(CISSL)では、信頼できない擬似ラベルによって引き起こされるバイアスは、不均衡なデータ分布によって悪化させることができる。提案手法は、よく設計されたコントラスト的な方法で、インスタンスの表現の分布を直接正規化する。提案手法は, CIFAR10-LT, CIFAR100-LT, STL10-LT, SVHN-LTデータセットの包括的実験により有効性を示す。
論文参考訳（メタデータ） (2024-03-04T06:43:16Z)
Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning [74.44500692632778]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。 CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-12-25T11:54:07Z)
Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文参考訳（メタデータ） (2023-03-20T12:44:11Z)
Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。本稿では,不均衡なデータに対する表現学習に着目した。バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文参考訳（メタデータ） (2022-07-19T03:48:59Z)
Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-07-04T13:51:29Z)
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文参考訳（メタデータ） (2020-08-09T21:13:13Z)
Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文参考訳（メタデータ） (2020-06-11T14:25:02Z)
Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。