論文の概要: Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data

• arxiv url: http://arxiv.org/abs/2303.11066v1
• Date: Mon, 20 Mar 2023 12:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 15:35:10.545951
• Title: Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data
• Title（参考訳）: ラベルなしデータのエクスプロイトによる半教師付き学習の促進
• Authors: Yuhao Chen, Xin Tan, Borui Zhao, Zhaowei Chen, Renjie Song, Jiajun Liang, Xuequan Lu
• Abstract要約: 半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
• 参考スコア（独自算出の注目度）: 21.6350640726058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning (SSL) has attracted enormous attention due to its vast potential of mitigating the dependence on large labeled datasets. The latest methods (e.g., FixMatch) use a combination of consistency regularization and pseudo-labeling to achieve remarkable successes. However, these methods all suffer from the waste of complicated examples since all pseudo-labels have to be selected by a high threshold to filter out noisy ones. Hence, the examples with ambiguous predictions will not contribute to the training phase. For better leveraging all unlabeled examples, we propose two novel techniques: Entropy Meaning Loss (EML) and Adaptive Negative Learning (ANL). EML incorporates the prediction distribution of non-target classes into the optimization objective to avoid competition with target class, and thus generating more high-confidence predictions for selecting pseudo-label. ANL introduces the additional negative pseudo-label for all unlabeled data to leverage low-confidence examples. It adaptively allocates this label by dynamically evaluating the top-k performance of the model. EML and ANL do not introduce any additional parameter and hyperparameter. We integrate these techniques with FixMatch, and develop a simple yet powerful framework called FullMatch. Extensive experiments on several common SSL benchmarks (CIFAR-10/100, SVHN, STL-10 and ImageNet) demonstrate that FullMatch exceeds FixMatch by a large margin. Integrated with FlexMatch (an advanced FixMatch-based framework), we achieve state-of-the-art performance. Source code is at https://github.com/megvii-research/FullMatch.
• Abstract（参考訳）: 半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性から、大きな注目を集めている。 最新のメソッド(FixMatchなど)では、一貫性の正則化と擬似ラベルを組み合わせることで、顕著な成功を収めている。 しかし、これらの手法はすべて複雑な例の無駄に苦しんでおり、ノイズの多いものをフィルターするために、すべての擬似ラベルを高い閾値で選択する必要がある。 したがって、曖昧な予測の例は、トレーニングフェーズに寄与しない。 ラベルのない例をうまく活用するために,エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 EMLは、ターゲットでないクラスの予測分布を最適化目標に組み込んで、ターゲットクラスとの競合を回避し、擬似ラベルを選択するためのより高信頼な予測を生成する。 ANLは、低信頼の例を活用するために、すべてのラベルのないデータに負の擬似ラベルを追加する。 モデルのtop-k性能を動的に評価することにより、このラベルを適応的に割り当てる。 EMLとANLは追加パラメータやハイパーパラメータを導入していない。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。 いくつかのSSLベンチマーク(CIFAR-10/100、SVHN、STL-10、ImageNet)の大規模な実験は、FullMatchがFixMatchをはるかに上回っていることを示している。 flexmatch(高度なfixmatchベースのフレームワーク)と統合することで、最先端のパフォーマンスを実現します。 ソースコードはhttps://github.com/megvii-research/FullMatch.comにある。

関連論文リスト

• AllMatch: Exploiting All Unlabeled Data for Semi-Supervised Learning [5.0823084858349485]
  提案するSSLアルゴリズムであるAllMatchは,擬似ラベル精度の向上とラベルなしデータの100%利用率の向上を実現する。 その結果、AllMatchは既存の最先端メソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-06-22T06:59:52Z)
• RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations [52.549807652527306]
  本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。 RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。 我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-11T12:47:29Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning [46.95063831057502]
  本稿では,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するためのemphFreeMatchを提案する。 FreeMatchは、最新の最先端メソッドであるFlexMatchよりもtextbf5.78%、textbf13.59%、textbf1.28%のエラー率削減を実現している。
  論文  参考訳（メタデータ） (2022-05-15T10:07:52Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
  我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-28T23:57:15Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。