論文の概要: Debiased Learning from Naturally Imbalanced Pseudo-Labels for Zero-Shot and Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2201.01490v1
• Date: Wed, 5 Jan 2022 07:40:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-06 13:28:02.782680
• Title: Debiased Learning from Naturally Imbalanced Pseudo-Labels for Zero-Shot and Semi-Supervised Learning
• Title（参考訳）: ゼロショット・セミスーパービジョン学習のための自然不均衡な擬似ラベルからのデバイアスドラーニング
• Authors: Xudong Wang, Zhirong Wu, Long Lian, Stella X. Yu
• Abstract要約: この研究は、疑似ラベルのバイアス問題を研究する。これは、広く起こるが、しばしば先行研究によって見落とされがちな自然現象である。 半教師付き学習モデルであるFixMatchは、ラベルなしデータを計算したとしても、ラベルなし集合上のラベルを予測したとき、重く長い尾の擬似ラベルを観察する。 介入なしに、トレーニングモデルは擬似ラベルからバイアスを継承し、最終的には準最適となる。
• 参考スコア（独自算出の注目度）: 27.770473405635585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work studies the bias issue of pseudo-labeling, a natural phenomenon that widely occurs but often overlooked by prior research. Pseudo-labels are generated when a classifier trained on source data is transferred to unlabeled target data. We observe heavy long-tailed pseudo-labels when a semi-supervised learning model FixMatch predicts labels on the unlabeled set even though the unlabeled data is curated to be balanced. Without intervention, the training model inherits the bias from the pseudo-labels and end up being sub-optimal. To eliminate the model bias, we propose a simple yet effective method DebiasMatch, comprising of an adaptive debiasing module and an adaptive marginal loss. The strength of debiasing and the size of margins can be automatically adjusted by making use of an online updated queue. Benchmarked on ImageNet-1K, DebiasMatch significantly outperforms previous state-of-the-arts by more than 26% and 8.7% on semi-supervised learning (0.2% annotated data) and zero-shot learning tasks respectively.
• Abstract（参考訳）: 本研究は,先行研究によって見過ごされる自然現象である疑似ラベルのバイアス問題を研究する。 ソースデータで訓練された分類器がラベルなしのターゲットデータに転送されると、擬似ラベルが生成される。 半教師付き学習モデルフィクスマッチがラベルなしデータセットのラベルを予測した場合、ラベルなしデータのバランスが保たれている場合でも、重長い尾付き擬似ラベルを観測する。 介入なしに、トレーニングモデルは擬似ラベルからバイアスを継承し、最終的には準最適となる。 モデルバイアスを排除するため,適応型デバイアスモジュールと適応型限界損失からなる,単純で効果的なデバイアスマッチング法を提案する。 オンライン更新キューを利用することで、デバイアスの強度とマージンのサイズを自動的に調整することができる。 imagenet-1kでベンチマークしたdebiasmatchは、半教師付き学習(0.2%の注釈付きデータ)とゼロショット学習タスクにおいて、以前の最先端を26%以上、8.7%を大きく上回っている。

関連論文リスト

• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning [46.95063831057502]
  本稿では,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するためのemphFreeMatchを提案する。 FreeMatchは、最新の最先端メソッドであるFlexMatchよりもtextbf5.78%、textbf13.59%、textbf1.28%のエラー率削減を実現している。
  論文  参考訳（メタデータ） (2022-05-15T10:07:52Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。