論文の概要: FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling

• arxiv url: http://arxiv.org/abs/2110.08263v1
• Date: Fri, 15 Oct 2021 02:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 05:34:49.346313
• Title: FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling
• Title（参考訳）: FlexMatch: 擬似ラベリングによる半教師付き学習の促進
• Authors: Bowen Zhang, Yidong Wang, Wenxin Hou, Hao Wu, Jindong Wang, Manabu Okumura, Takahiro Shinozaki
• Abstract要約: 学習状況に応じてラベルのないデータを活用するために,CPL(Curriculum Pseudo Labeling)を提案する。 我々は、CPLが他のSSLアルゴリズムに容易に適応できることを示し、その性能を著しく改善する。
• 参考スコア（独自算出の注目度）: 22.697838816664902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recently proposed FixMatch achieved state-of-the-art results on most semi-supervised learning (SSL) benchmarks. However, like other modern SSL algorithms, FixMatch uses a pre-defined constant threshold for all classes to select unlabeled data that contribute to the training, thus failing to consider different learning status and learning difficulties of different classes. To address this issue, we propose Curriculum Pseudo Labeling (CPL), a curriculum learning approach to leverage unlabeled data according to the model's learning status. The core of CPL is to flexibly adjust thresholds for different classes at each time step to let pass informative unlabeled data and their pseudo labels. CPL does not introduce additional parameters or computations (forward or backward propagation). We apply CPL to FixMatch and call our improved algorithm FlexMatch. FlexMatch achieves state-of-the-art performance on a variety of SSL benchmarks, with especially strong performances when the labeled data are extremely limited or when the task is challenging. For example, FlexMatch outperforms FixMatch by 14.32% and 24.55% on CIFAR-100 and STL-10 datasets respectively, when there are only 4 labels per class. CPL also significantly boosts the convergence speed, e.g., FlexMatch can use only 1/5 training time of FixMatch to achieve even better performance. Furthermore, we show that CPL can be easily adapted to other SSL algorithms and remarkably improve their performances. We open source our code at https://github.com/TorchSSL/TorchSSL.
• Abstract（参考訳）: 最近提案されたFixMatchは、ほとんどの半教師付き学習(SSL)ベンチマークで最先端の結果を得た。 しかし、他の現代的なSSLアルゴリズムと同様に、FixMatchはトレーニングに寄与するラベルのないデータを選択するために、すべてのクラスに対して予め定義された一定のしきい値を使用するため、異なる学習状況と異なるクラスの学習困難を考慮できない。 そこで本研究では,学習状況に応じてラベルなしデータを活用するカリキュラム学習手法として,カリキュラム擬似ラベリング(cpl)を提案する。 CPLのコアは、各段階で異なるクラスのしきい値を柔軟に調整し、情報付き未ラベルデータとその擬似ラベルを渡すことである。 CPLは追加のパラメータや計算(前方または後方の伝搬)を導入しない。 私たちはcplをfixmatchに適用し、改良したアルゴリズムflexmatchを呼び出します。 FlexMatchはさまざまなSSLベンチマークで最先端のパフォーマンスを実現しています。 例えば、FlexMatchはFixMatchを14.32%、CIFAR-100とSTL-10のデータセットでは24.55%で上回っている。 例えば、flexmatchはフィクスマッチのトレーニング時間を1/5に抑えるだけで、さらに優れたパフォーマンスを達成することができる。 さらに、CPLは他のSSLアルゴリズムに容易に適用でき、性能を大幅に改善できることを示す。 ソースコードはhttps://github.com/TorchSSL/TorchSSLで公開しています。

関連論文リスト

• Boosting Consistency in Dual Training for Long-Tailed Semi-Supervised Learning [49.07038093130949]
  Long-tailed semi-supervised learning (LTSSL)アルゴリズムは、ラベル付きデータとラベルなしデータのクラス分布がほぼ同一であると仮定する。 未知のクラス分布からラベル付けされていないデータを効果的に活用できる新しい簡易手法を提案する。 BOATは様々な標準LTSSLベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-19T03:35:26Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• Fast FixMatch: Faster Semi-Supervised Learning with Curriculum Batch Size [16.092088986711566]
  本稿では,深層ニューラルネットワークの自然学習力学を利用したテキストタイタン未ラベルバッチサイズカリキュラムであるCurriculum Batch Size (CBS)を提案する。 CPL(Curriculum Pseudo Labeling) citepFlexMatch to FixMatch citepFixMatch and term the new SSL algorithm Fast FixMatch。
  論文  参考訳（メタデータ） (2023-09-07T03:34:51Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision [16.757456364034798]
  半教師付き学習(SSL)はますます人気が高まっている。 擬似ラベル手法と自己教師付き損失を組み合わせた新しいSSLアルゴリズムであるDoubleMatchを提案する。 本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-05-11T15:43:48Z)
• ActiveMatch: End-to-end Semi-supervised Active Representation Learning [0.0]
  半教師付き学習(SSL)は、ラベル付きデータとラベルなしデータの両方でモデルをトレーニングできる効率的なフレームワークである。 SSLとコントラスト学習とアクティブ学習を組み合わせることで,限定ラベルを完全に活用するActiveMatchを提案する。 MixMatchやFixMatchと比較して、ActiveMatchは最先端のパフォーマンスを実現しており、CIFAR-10では89.24の精度で100のラベルを収集し、92.20の精度で200のラベルを収集した。
  論文  参考訳（メタデータ） (2021-10-06T06:07:40Z)
• OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
  我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-28T23:57:15Z)
• CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
  CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。 複数のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-11-23T02:54:57Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。