論文の概要: PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2402.17589v2
• Date: Tue, 26 Nov 2024 16:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:23:37.270283
• Title: PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning
• Title（参考訳）: PLReMix: Pseudo-Label Relaxed Contrastive Representation Learningによる雑音ラベルの圧縮
• Authors: Xiaoyu Liu, Beitong Zhou, Zuogong Yue, Cheng Cheng,
• Abstract要約: Pseudo-Label Relaxed (PLR) のコントラスト損失を導入することで、エンドツーエンドの textbfPLReMix フレームワークを提案する。 提案したPLR損失はプラガブルであり,他のLNL手法に統合し,その性能改善を観察した。
• 参考スコア（独自算出の注目度）: 7.556169113399857
• License:
• Abstract: Recently, the usage of Contrastive Representation Learning (CRL) as a pre-training technique improves the performance of learning with noisy labels (LNL) methods. However, instead of pre-training, when trivially combining CRL loss with LNL methods as an end-to-end framework, the empirical experiments show severe degeneration of the performance. We verify through experiments that this issue is caused by optimization conflicts of losses and propose an end-to-end \textbf{PLReMix} framework by introducing a Pseudo-Label Relaxed (PLR) contrastive loss. This PLR loss constructs a reliable negative set of each sample by filtering out its inappropriate negative pairs, alleviating the loss conflicts by trivially combining these losses. The proposed PLR loss is pluggable and we have integrated it into other LNL methods, observing their improved performance. Furthermore, a two-dimensional Gaussian Mixture Model is adopted to distinguish clean and noisy samples by leveraging semantic information and model outputs simultaneously. Experiments on multiple benchmark datasets demonstrate the effectiveness of the proposed method. Code is available at \url{https://github.com/lxysl/PLReMix}.
• Abstract（参考訳）: 近年,事前学習技術としてCRL(Contrastive Representation Learning)を用いることで,雑音ラベル(LNL)法による学習性能が向上している。 しかし, CRLの損失をLNL法と簡単に組み合わせてエンド・ツー・エンドのフレームワークとして事前学習する代わりに, 実験により, 性能を著しく劣化させることを示した。 Pseudo-Label Relaxed (PLR) のコントラスト損失を導入することで、この問題が損失の最適化競合によって引き起こされることを検証し、エンドツーエンドの \textbf{PLReMix} フレームワークを提案する。 このPLR損失は、その不適切な負のペアをフィルタし、これらの損失を自明に組み合わせることで損失の衝突を軽減することによって、各サンプルの信頼性の高い負の集合を構成する。 提案したPLR損失はプラガブルであり,他のLNL手法に統合し,その性能改善を観察した。 さらに,2次元ガウス混合モデルを用いて,意味情報とモデル出力を同時に活用することにより,クリーンでノイズの多いサンプルを識別する。 複数のベンチマークデータセットの実験により,提案手法の有効性が示された。 コードは \url{https://github.com/lxysl/PLReMix} で入手できる。

関連論文リスト

• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Regroup Median Loss for Combating Label Noise [19.51996047333779]
  深層モデルトレーニングには、注釈付きデータの大規模なデータセットが必要である。 多数のサンプルを注釈付けすることが難しいため、誤ったアノテーションによるラベルノイズは避けられない。 ノイズのあるサンプルを選択する確率を低減し,ノイズの多いサンプルの損失を正すために,Regroup Median Loss (RML)を提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:19:55Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)
• Batch Inverse-Variance Weighting: Deep Heteroscedastic Regression [12.415463205960156]
  Batch Inverse-Varianceは,実地に近い真理サンプルに対して頑健で,効果的な学習率の制御が可能な損失関数である。 実験の結果、BIVは2つのノイズデータセット上でのネットワークの性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2021-07-09T15:39:31Z)
• Two-stage Training for Learning from Label Proportions [18.78148397471913]
  ラベルパーセンテージ(LLP)からの学習は、グループ化されたトレーニングデータにおいてラベルパーセンテージを持つインスタンスレベルの分類器を学習することを目的としている。 ラベルノイズをさらに低減するために,混合戦略と対称クロスエントロピーを導入する。 我々のフレームワークはモデルに依存しず、広範な実験において魅力的なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2021-05-22T03:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。