論文の概要: Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective
- arxiv url: http://arxiv.org/abs/2409.18316v1
- Date: Thu, 26 Sep 2024 21:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 07:00:37.367346
- Title: Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective
- Title（参考訳）: 半教師型学習における確認バイアスの軽減に向けて--偏見学習の視点から
- Authors: Yu Wang, Yuxuan Yin, Peng Li,
- Abstract要約: 半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。
SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。
TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
- 参考スコア（独自算出の注目度）: 6.164100243945264
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Semi-supervised learning (SSL) commonly exhibits confirmation bias, where models disproportionately favor certain classes, leading to errors in predicted pseudo labels that accumulate under a self-training paradigm. Unlike supervised settings, which benefit from a rich, static data distribution, SSL inherently lacks mechanisms to correct this self-reinforced bias, necessitating debiased interventions at each training step. Although the generation of debiased pseudo labels has been extensively studied, their effective utilization remains underexplored. Our analysis indicates that data from biased classes should have a reduced influence on parameter updates, while more attention should be given to underrepresented classes. To address these challenges, we introduce TaMatch, a unified framework for debiased training in SSL. TaMatch employs a scaling ratio derived from both a prior target distribution and the model's learning status to estimate and correct bias at each training step. This ratio adjusts the raw predictions on unlabeled data to produce debiased pseudo labels. In the utilization phase, these labels are differently weighted according to their predicted class, enhancing training equity and minimizing class bias. Additionally, TaMatch dynamically adjust the target distribution in response to the model's learning progress, facilitating robust handling of practical scenarios where the prior distribution is unknown. Empirical evaluations show that TaMatch significantly outperforms existing state-of-the-art methods across a range of challenging image classification tasks, highlighting the critical importance of both the debiased generation and utilization of pseudo labels in SSL.
- Abstract（参考訳）: 半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好んで選び、自己学習パラダイムの下で蓄積される予測された擬似ラベルの誤りにつながるという、確認バイアスを一般的に示している。
リッチで静的なデータ配布の恩恵を受ける教師付き設定とは異なり、SSLは本質的に、この自己強化バイアスを修正するメカニズムを欠いている。
嫌悪された擬似ラベルの生成は広く研究されているが、その有効利用は未解明のままである。
分析の結果,偏りのあるクラスからのデータはパラメータ更新に影響を及ぼすが,表現不足のクラスには注意を払わなければならないことがわかった。
これらの課題に対処するために、SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。
TaMatchは、事前の目標分布とモデルの学習状態の両方から導かれるスケーリング比を使用して、トレーニングの各ステップでバイアスを推定し、修正する。
この比はラベルなしデータの生の予測を調整し、デバイアス付き擬似ラベルを生成する。
利用段階において、これらのラベルは予測クラスに応じて異なる重み付けが行われ、トレーニングエクイティが向上し、クラスバイアスが最小化される。
さらに、TaMatchはモデルの学習進捗に応じてターゲット分布を動的に調整し、事前の分布が不明な実践シナリオの堅牢なハンドリングを容易にする。
実験的な評価によると、TaMatchは既存の最先端の手法よりも、さまざまな課題の画像分類タスクで優れており、SSLにおけるデバイアス発生と擬似ラベルの利用の両方の重要性を強調している。
関連論文リスト
- Unlabeled Debiasing in Downstream Tasks via Class-wise Low Variance Regularization [13.773597081543185]
本稿では,組込みのクラスワイドな分散に基づく新しいデバイアス正規化手法を提案する。
提案手法は属性ラベルを必要とせず,属性をターゲットとせず,既存のデバイアス手法の欠点に対処する。
論文 参考訳（メタデータ） (2024-09-29T03:56:50Z) - Model Debiasing by Learnable Data Augmentation [19.625915578646758]
本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。
合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
論文 参考訳（メタデータ） (2024-08-09T09:19:59Z) - Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。
トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。
非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文 参考訳（メタデータ） (2023-12-27T15:06:36Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳（メタデータ） (2023-09-09T01:57:14Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。
既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。
本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
論文 参考訳（メタデータ） (2022-07-28T02:15:47Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Debiased Learning from Naturally Imbalanced Pseudo-Labels for Zero-Shot
and Semi-Supervised Learning [27.770473405635585]
この研究は、疑似ラベルのバイアス問題を研究する。これは、広く起こるが、しばしば先行研究によって見落とされがちな自然現象である。
半教師付き学習モデルであるFixMatchは、ラベルなしデータを計算したとしても、ラベルなし集合上のラベルを予測したとき、重く長い尾の擬似ラベルを観察する。
介入なしに、トレーニングモデルは擬似ラベルからバイアスを継承し、最終的には準最適となる。
論文 参考訳（メタデータ） (2022-01-05T07:40:24Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳（メタデータ） (2021-10-22T01:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。