論文の概要: Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2309.09774v1
• Date: Mon, 18 Sep 2023 13:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:10:18.759638
• Title: Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning
• Title（参考訳）: 半教師あり学習のための自己適応型擬似ラベルフィルタリング
• Authors: Lei Zhu, Zhanghan Ke, Rynson Lau
• Abstract要約: 擬似ラベルの品質向上を目的とした自己適応型擬似ラベルフィルタ(SPF)を提案する。 オンライン混合モデルを用いて、各擬似ラベル付きサンプルをその後部で重み付けし、信頼性分布を考慮した。 我々のSPFは、手動チューニングなしでディープニューラルネットワークとともに進化します。
• 参考スコア（独自算出の注目度）: 13.02771721554445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent semi-supervised learning (SSL) methods typically include a filtering strategy to improve the quality of pseudo labels. However, these filtering strategies are usually hand-crafted and do not change as the model is updated, resulting in a lot of correct pseudo labels being discarded and incorrect pseudo labels being selected during the training process. In this work, we observe that the distribution gap between the confidence values of correct and incorrect pseudo labels emerges at the very beginning of the training, which can be utilized to filter pseudo labels. Based on this observation, we propose a Self-Adaptive Pseudo-Label Filter (SPF), which automatically filters noise in pseudo labels in accordance with model evolvement by modeling the confidence distribution throughout the training process. Specifically, with an online mixture model, we weight each pseudo-labeled sample by the posterior of it being correct, which takes into consideration the confidence distribution at that time. Unlike previous handcrafted filters, our SPF evolves together with the deep neural network without manual tuning. Extensive experiments demonstrate that incorporating SPF into the existing SSL methods can help improve the performance of SSL, especially when the labeled data is extremely scarce.
• Abstract（参考訳）: 最近の半教師付き学習(SSL)手法は、典型的には擬似ラベルの品質を改善するためのフィルタリング戦略を含んでいる。 しかし、これらのフィルタリング戦略は通常手作りであり、モデルが更新されると変更されず、多くの正しい擬似ラベルが破棄され、トレーニングプロセス中に誤った擬似ラベルが選択される。 本研究では,疑似ラベルの信頼度と不正確な擬似ラベルの分布ギャップがトレーニングの開始時に現れることを観察し,擬似ラベルのフィルタリングに利用できることを示す。 そこで本研究では,学習過程を通じて信頼度分布をモデル化し,モデル進化に応じて擬似ラベルのノイズを自動的にフィルタする自己適応型擬似ラベルフィルタ(SPF)を提案する。 具体的には、オンライン混合モデルを用いて、各擬似ラベル付きサンプルをその後部で重み付けし、その時の信頼性分布を考慮に入れた。 従来の手作りフィルタとは異なり、SPFは手動チューニングなしでディープニューラルネットワークとともに進化します。 既存のSSLメソッドにSPFを組み込むことで、特にラベル付きデータが極めて少ない場合、SSLのパフォーマンスを向上させることができる。

関連論文リスト

• Less is More: Pseudo-Label Filtering for Continual Test-Time Adaptation [13.486951040331899]
  連続的テスト時間適応(CTTA)は、ソースデータにアクセスすることなく、テストフェーズ中に対象ドメインのシーケンスに事前訓練されたモデルを適用することを目的としている。 既存の方法は、すべてのサンプルに対して擬似ラベルを構築し、自己学習を通じてモデルを更新することに依存している。 擬似ラベルの品質を向上させるために擬似ラベルフィルタ(PLF)を提案する。
  論文  参考訳（メタデータ） (2024-06-03T04:09:36Z)
• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• Uncertainty-Aware Pseudo-Label Filtering for Source-Free Unsupervised Domain Adaptation [45.53185386883692]
  Source-free unsupervised domain adapt (SFUDA) は、訓練済みのソースモデルを、ソースデータにアクセスすることなく、ラベルなしのターゲットドメインで利用できるようにすることを目的としている。 本稿では,不確かさを意識したPseudo-label-filtering Adaptation (UPA) という手法を提案する。
  論文  参考訳（メタデータ） (2024-03-17T16:19:40Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning [34.062061310242385]
  不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。 未表示のサンプルが「流通中」か「流通外」かを測定する。 実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-13T16:45:41Z)
• Filter and evolve: progressive pseudo label refining for semi-supervised automatic speech recognition [5.735000563764309]
  低品質の擬似ラベルは、決定境界を誤認し、性能を低下させる。 本稿では,低品質な擬似ラベルをフィルタする簡易かつ効果的な手法を提案する。 LibriSpeechの実験では、これらのフィルターされたサンプルにより、洗練されたモデルによりより正確な予測が得られることが示されている。
  論文  参考訳（メタデータ） (2022-10-28T16:15:58Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。