論文の概要: PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive
Representation Learning
- arxiv url: http://arxiv.org/abs/2402.17589v1
- Date: Tue, 27 Feb 2024 15:22:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 15:44:37.107268
- Title: PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive
Representation Learning
- Title（参考訳）: PLReMix: Pseudo-Label Relaxed Contrastive Representation Learningによる雑音ラベルの圧縮
- Authors: Xiaoyu Liu, Beitong Zhou, Cheng Cheng
- Abstract要約: 本稿では,Pseudo-Label Relaxed (PLR) のコントラスト損失を導入することで,複雑なパイプラインを回避する,エンドツーエンドのPLReMixフレームワークを提案する。
PLR損失は、予測確率の上位kで重複する不適切な負のペアをフィルタリングすることで、各サンプルの信頼な負の集合を構成する。
提案するPLR損失はスケーラブルであり,他のLNL手法と容易に統合し,その性能を向上させることができる。
- 参考スコア（独自算出の注目度）: 5.962428976778709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the application of Contrastive Representation Learning (CRL) in
learning with noisy labels (LNL) has shown promising advancements due to its
remarkable ability to learn well-distributed representations for better
distinguishing noisy labels. However, CRL is mainly used as a pre-training
technique, leading to a complicated multi-stage training pipeline. We also
observed that trivially combining CRL with supervised LNL methods decreases
performance. Using different images from the same class as negative pairs in
CRL creates optimization conflicts between CRL and the supervised loss. To
address these two issues, we propose an end-to-end PLReMix framework that
avoids the complicated pipeline by introducing a Pseudo-Label Relaxed (PLR)
contrastive loss to alleviate the conflicts between losses. This PLR loss
constructs a reliable negative set of each sample by filtering out its
inappropriate negative pairs that overlap at the top k indices of prediction
probabilities, leading to more compact semantic clusters than vanilla CRL.
Furthermore, a two-dimensional Gaussian Mixture Model (GMM) is adopted to
distinguish clean and noisy samples by leveraging semantic information and
model outputs simultaneously, which is expanded on the previously widely used
one-dimensional form. The PLR loss and a semi-supervised loss are
simultaneously applied to train on the GMM divided clean and noisy samples.
Experiments on multiple benchmark datasets demonstrate the effectiveness of the
proposed method. Our proposed PLR loss is scalable, which can be easily
integrated into other LNL methods and boost their performance. Codes will be
available.
- Abstract（参考訳）: 近年,ノイズラベルを用いた学習におけるコントラスト表現学習 (crl) の応用は,ノイズラベルの識別性を高めるために,よく分布した表現を学習する能力が顕著であることから,有望な進歩を遂げている。
しかし、CRLは主に事前学習技術として使われ、複雑なマルチステージトレーニングパイプラインに繋がる。
また、CRLと教師付きLNL法を自明に組み合わせることで、性能が低下することを示した。
CRLの負のペアと同じクラスから異なるイメージを使用することで、CRLと教師付き損失の間の最適化競合が生じる。
これら2つの問題に対処するため,Pseudo-Label Relaxed (PLR) を導入して,損失間の衝突を軽減することで,複雑なパイプラインを回避する,エンドツーエンドのPLReMixフレームワークを提案する。
このPLR損失は、予測確率の上位kで重複する不適切な負のペアをフィルタリングすることで、各サンプルの信頼性の高い負の集合を構成し、バニラCRLよりもよりコンパクトなセマンティッククラスタを生み出す。
さらに, 2次元ガウス混合モデル(GMM)を用いて, 従来広く用いられてきた1次元形状に拡張した意味情報とモデル出力を同時に活用することにより, クリーンでノイズの多いサンプルを識別する。
PLR損失と半教師付き損失を同時にGMM分割されたクリーンおよびノイズサンプルの列車に適用した。
複数のベンチマークデータセットの実験により,提案手法の有効性が示された。
提案するPLR損失はスケーラブルであり,他のLNL手法と容易に統合して性能を向上させることができる。
コードは利用可能だ。
関連論文リスト
- Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。
1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。
本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。
本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
論文 参考訳（メタデータ） (2024-01-15T03:33:39Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Learning with Noisy Labels Using Collaborative Sample Selection and
Contrastive Semi-Supervised Learning [76.00798972439004]
Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。
半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
論文 参考訳（メタデータ） (2023-10-24T05:37:20Z) - Learning in Imperfect Environment: Multi-Label Classification with
Long-Tailed Distribution and Partial Labels [53.68653940062605]
新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。
その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。
textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
論文 参考訳（メタデータ） (2023-04-20T20:05:08Z) - Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。
In-Training Representation Alignment (ITRA) を提案する。
また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文 参考訳（メタデータ） (2022-11-23T22:23:22Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-07-04T13:51:29Z) - Two-stage Training for Learning from Label Proportions [18.78148397471913]
ラベルパーセンテージ(LLP)からの学習は、グループ化されたトレーニングデータにおいてラベルパーセンテージを持つインスタンスレベルの分類器を学習することを目的としている。
ラベルノイズをさらに低減するために,混合戦略と対称クロスエントロピーを導入する。
我々のフレームワークはモデルに依存しず、広範な実験において魅力的なパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2021-05-22T03:55:35Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳（メタデータ） (2021-05-08T17:25:08Z) - Modal Regression based Structured Low-rank Matrix Recovery for
Multi-view Learning [70.57193072829288]
近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。
既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。
本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
論文 参考訳（メタデータ） (2020-03-22T03:57:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。