論文の概要: Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2309.09774v1
• Date: Mon, 18 Sep 2023 13:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:10:18.759638
• Title: Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning
• Title（参考訳）: 半教師あり学習のための自己適応型擬似ラベルフィルタリング
• Authors: Lei Zhu, Zhanghan Ke, Rynson Lau
• Abstract要約: 擬似ラベルの品質向上を目的とした自己適応型擬似ラベルフィルタ(SPF)を提案する。 オンライン混合モデルを用いて、各擬似ラベル付きサンプルをその後部で重み付けし、信頼性分布を考慮した。 我々のSPFは、手動チューニングなしでディープニューラルネットワークとともに進化します。
• 参考スコア（独自算出の注目度）: 13.02771721554445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent semi-supervised learning (SSL) methods typically include a filtering strategy to improve the quality of pseudo labels. However, these filtering strategies are usually hand-crafted and do not change as the model is updated, resulting in a lot of correct pseudo labels being discarded and incorrect pseudo labels being selected during the training process. In this work, we observe that the distribution gap between the confidence values of correct and incorrect pseudo labels emerges at the very beginning of the training, which can be utilized to filter pseudo labels. Based on this observation, we propose a Self-Adaptive Pseudo-Label Filter (SPF), which automatically filters noise in pseudo labels in accordance with model evolvement by modeling the confidence distribution throughout the training process. Specifically, with an online mixture model, we weight each pseudo-labeled sample by the posterior of it being correct, which takes into consideration the confidence distribution at that time. Unlike previous handcrafted filters, our SPF evolves together with the deep neural network without manual tuning. Extensive experiments demonstrate that incorporating SPF into the existing SSL methods can help improve the performance of SSL, especially when the labeled data is extremely scarce.
• Abstract（参考訳）: 最近の半教師付き学習(SSL)手法は、典型的には擬似ラベルの品質を改善するためのフィルタリング戦略を含んでいる。 しかし、これらのフィルタリング戦略は通常手作りであり、モデルが更新されると変更されず、多くの正しい擬似ラベルが破棄され、トレーニングプロセス中に誤った擬似ラベルが選択される。 本研究では,疑似ラベルの信頼度と不正確な擬似ラベルの分布ギャップがトレーニングの開始時に現れることを観察し,擬似ラベルのフィルタリングに利用できることを示す。 そこで本研究では,学習過程を通じて信頼度分布をモデル化し,モデル進化に応じて擬似ラベルのノイズを自動的にフィルタする自己適応型擬似ラベルフィルタ(SPF)を提案する。 具体的には、オンライン混合モデルを用いて、各擬似ラベル付きサンプルをその後部で重み付けし、その時の信頼性分布を考慮に入れた。 従来の手作りフィルタとは異なり、SPFは手動チューニングなしでディープニューラルネットワークとともに進化します。 既存のSSLメソッドにSPFを組み込むことで、特にラベル付きデータが極めて少ない場合、SSLのパフォーマンスを向上させることができる。

関連論文リスト

• InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning [34.062061310242385]
  不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。 未表示のサンプルが「流通中」か「流通外」かを測定する。 実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-13T16:45:41Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Filter and evolve: progressive pseudo label refining for semi-supervised automatic speech recognition [5.735000563764309]
  低品質の擬似ラベルは、決定境界を誤認し、性能を低下させる。 本稿では,低品質な擬似ラベルをフィルタする簡易かつ効果的な手法を提案する。 LibriSpeechの実験では、これらのフィルターされたサンプルにより、洗練されたモデルによりより正確な予測が得られることが示されている。
  論文  参考訳（メタデータ） (2022-10-28T16:15:58Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning [34.062061310242385]
  半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。 モデル信頼に頼る代わりに、ラベルのないサンプルが「流通中」であるかどうかを測定する。
  論文  参考訳（メタデータ） (2022-06-13T17:55:07Z)
• Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization [88.74813798138466]
  オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。 キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。 本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
  論文  参考訳（メタデータ） (2022-01-21T09:51:58Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。