論文の概要: Fast FixMatch: Faster Semi-Supervised Learning with Curriculum Batch Size

• arxiv url: http://arxiv.org/abs/2309.03469v1
• Date: Thu, 7 Sep 2023 03:34:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 14:32:16.716907
• Title: Fast FixMatch: Faster Semi-Supervised Learning with Curriculum Batch Size
• Title（参考訳）: Fast FixMatch: カリキュラムバッチサイズによる半教師付き学習の高速化
• Authors: John Chen, Chen Dun, Anastasios Kyrillidis
• Abstract要約: 本稿では,深層ニューラルネットワークの自然学習力学を利用したテキストタイタン未ラベルバッチサイズカリキュラムであるCurriculum Batch Size (CBS)を提案する。 CPL(Curriculum Pseudo Labeling) citepFlexMatch to FixMatch citepFixMatch and term the new SSL algorithm Fast FixMatch。
• 参考スコア（独自算出の注目度）: 16.092088986711566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in Semi-Supervised Learning (SSL) have almost entirely closed the gap between SSL and Supervised Learning at a fraction of the number of labels. However, recent performance improvements have often come \textit{at the cost of significantly increased training computation}. To address this, we propose Curriculum Batch Size (CBS), \textit{an unlabeled batch size curriculum which exploits the natural training dynamics of deep neural networks.} A small unlabeled batch size is used in the beginning of training and is gradually increased to the end of training. A fixed curriculum is used regardless of dataset, model or number of epochs, and reduced training computations is demonstrated on all settings. We apply CBS, strong labeled augmentation, Curriculum Pseudo Labeling (CPL) \citep{FlexMatch} to FixMatch \citep{FixMatch} and term the new SSL algorithm Fast FixMatch. We perform an ablation study to show that strong labeled augmentation and/or CPL do not significantly reduce training computations, but, in synergy with CBS, they achieve optimal performance. Fast FixMatch also achieves substantially higher data utilization compared to previous state-of-the-art. Fast FixMatch achieves between $2.1\times$ - $3.4\times$ reduced training computations on CIFAR-10 with all but 40, 250 and 4000 labels removed, compared to vanilla FixMatch, while attaining the same cited state-of-the-art error rate \citep{FixMatch}. Similar results are achieved for CIFAR-100, SVHN and STL-10. Finally, Fast MixMatch achieves between $2.6\times$ - $3.3\times$ reduced training computations in federated SSL tasks and online/streaming learning SSL tasks, which further demonstrate the generializbility of Fast MixMatch to different scenarios and tasks.
• Abstract（参考訳）: SSL(Semi-Supervised Learning)の進歩は,SSLとSupervised Learningのギャップを,ラベル数のごく一部で完全に埋めている。 しかし、最近のパフォーマンス改善はしばしば、トレーニング計算を大幅に増加させるコストでtextit{at}となる。 そこで,本稿では,深層ニューラルネットワークの自然学習力学を生かしたCurriculum Batch Size (CBS), \textit{an unlabeled batch size Curriculum Batch Sizeを提案する。 } トレーニング開始時に小さなラベルのないバッチサイズが使用され、トレーニング終了までに徐々に増加する。 データセット、モデル、エポックの数に関わらず、固定カリキュラムが使用され、すべての設定でトレーニング計算の削減が示される。 我々は、CBS, strong labeled augmentation, Curriculum Pseudo Labeling (CPL) \citep{FlexMatch} を FixMatch \citep{FixMatch} に適用し、新しいSSLアルゴリズムである Fast FixMatch を呼ぶ。 我々は,強いラベル付き強化および/またはCPLがトレーニング計算を著しく低減しないことを示すアブレーション研究を行い,CBSとの相乗効果により最適な性能が得られることを示した。 Fast FixMatchは、以前の最先端技術と比較して、かなり高いデータ利用を実現している。 Fast FixMatchは2.1\times$ - $3.4\times$で、バニラFixMatchと比較して40、250、4000のラベルを除いてCIFAR-10のトレーニング計算を削減し、同じ引用された最先端のエラーレートを達成している。 CIFAR-100、SVHN、STL-10でも同様の結果が得られた。 最後に、fast mixmatchは2.6\times$ - $3.3\times$ で、フェデレーションされたsslタスクのトレーニング計算を削減し、オンライン/ストリーミングでsslタスクを学習する。

関連論文リスト

• Boosting Consistency in Dual Training for Long-Tailed Semi-Supervised Learning [49.07038093130949]
  Long-tailed semi-supervised learning (LTSSL)アルゴリズムは、ラベル付きデータとラベルなしデータのクラス分布がほぼ同一であると仮定する。 未知のクラス分布からラベル付けされていないデータを効果的に活用できる新しい簡易手法を提案する。 BOATは様々な標準LTSSLベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-19T03:35:26Z)
• SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning [0.0]
  半教師付き学習(SSL)は、大量のラベルのないデータを使ってモデルのトレーニングを可能にするため、近年人気が高まっている。 多くのSSLメソッドが直面する問題のひとつは、モデルが小さなラベル付きトレーニングデータセットに過度に適合した場合に発生する、確認バイアスである。 本稿では,複数のデータ拡張を利用する効率的なSSL手法であるSequenceMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-24T12:34:58Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision [16.757456364034798]
  半教師付き学習(SSL)はますます人気が高まっている。 擬似ラベル手法と自己教師付き損失を組み合わせた新しいSSLアルゴリズムであるDoubleMatchを提案する。 本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-05-11T15:43:48Z)
• FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling [22.697838816664902]
  学習状況に応じてラベルのないデータを活用するために,CPL(Curriculum Pseudo Labeling)を提案する。 我々は、CPLが他のSSLアルゴリズムに容易に適応できることを示し、その性能を著しく改善する。
  論文  参考訳（メタデータ） (2021-10-15T02:53:38Z)
• OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
  我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-28T23:57:15Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
  CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。 複数のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-11-23T02:54:57Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。