Fugu-MT 論文翻訳(概要): SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning

論文の概要: SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning

arxiv url: http://arxiv.org/abs/2310.15787v1
Date: Tue, 24 Oct 2023 12:34:58 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 18:50:04.724556
Title: SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning
Title（参考訳）: SequenceMatch: 半教師あり学習のための弱強強化設計の再検討
Authors: Khanh-Binh Nguyen
Abstract要約: 半教師付き学習(SSL)は、大量のラベルのないデータを使ってモデルのトレーニングを可能にするため、近年人気が高まっている。多くのSSLメソッドが直面する問題のひとつは、モデルが小さなラベル付きトレーニングデータセットに過度に適合した場合に発生する、確認バイアスである。本稿では,複数のデータ拡張を利用する効率的なSSL手法であるSequenceMatchを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Semi-supervised learning (SSL) has become popular in recent years because it allows the training of a model using a large amount of unlabeled data. However, one issue that many SSL methods face is the confirmation bias, which occurs when the model is overfitted to the small labeled training dataset and produces overconfident, incorrect predictions. To address this issue, we propose SequenceMatch, an efficient SSL method that utilizes multiple data augmentations. The key element of SequenceMatch is the inclusion of a medium augmentation for unlabeled data. By taking advantage of different augmentations and the consistency constraints between each pair of augmented examples, SequenceMatch helps reduce the divergence between the prediction distribution of the model for weakly and strongly augmented examples. In addition, SequenceMatch defines two different consistency constraints for high and low-confidence predictions. As a result, SequenceMatch is more data-efficient than ReMixMatch, and more time-efficient than both ReMixMatch ($\times4$) and CoMatch ($\times2$) while having higher accuracy. Despite its simplicity, SequenceMatch consistently outperforms prior methods on standard benchmarks, such as CIFAR-10/100, SVHN, and STL-10. It also surpasses prior state-of-the-art methods by a large margin on large-scale datasets such as ImageNet, with a 38.46\% error rate. Code is available at https://github.com/beandkay/SequenceMatch.
Abstract（参考訳）: 半教師付き学習(SSL)は,大量のラベルのないデータを用いたモデルのトレーニングを可能にするため,近年普及している。しかし、SSLメソッドが直面する問題のひとつは、モデルが小さなラベル付きトレーニングデータセットに過度に適合し、過信で誤った予測を生成する場合に発生する、確認バイアスである。この問題に対処するために,複数のデータ拡張を利用する効率的なSSL手法であるSequenceMatchを提案する。 sequencematchのキー要素は、ラベルなしデータのメディア拡張を含んでいることです。拡張された各例の異なる拡張と一貫性の制約を利用することで、sequencematchは弱く強く拡張された例に対するモデルの予測分布の相違を減らすのに役立ちます。さらに、SequenceMatchは、高信頼と低信頼の予測のための2つの異なる一貫性の制約を定義する。その結果、SequenceMatchはReMixMatchよりもデータ効率が高く、ReMixMatch($\times4$)とCoMatch($\times2$)の両方よりも時間効率が高い。その単純さにもかかわらず、SequenceMatchはCIFAR-10/100、SVHN、STL-10といった標準ベンチマークの先行手法より一貫して優れている。また、ImageNetのような大規模データセットで38.46\%のエラー率で、最先端の手法をはるかに上回っている。コードはhttps://github.com/beandkay/sequencematchで入手できる。

関連論文リスト

RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations [52.549807652527306]
本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。 RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
論文参考訳（メタデータ） (2023-12-11T12:47:29Z)
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
論文参考訳（メタデータ） (2023-10-23T05:43:35Z)
Fast FixMatch: Faster Semi-Supervised Learning with Curriculum Batch Size [16.092088986711566]
本稿では,深層ニューラルネットワークの自然学習力学を利用したテキストタイタン未ラベルバッチサイズカリキュラムであるCurriculum Batch Size (CBS)を提案する。 CPL(Curriculum Pseudo Labeling) citepFlexMatch to FixMatch citepFixMatch and term the new SSL algorithm Fast FixMatch。
論文参考訳（メタデータ） (2023-09-07T03:34:51Z)
MarginMatch: Improving Semi-Supervised Learning with Pseudo-Margins [73.17295479535161]
MarginMatchは、一貫性の正規化と擬似ラベルを組み合わせた新しいSSLアプローチである。トレーニングが進むにつれて、擬似ラベル付きモデル上でのモデルの振る舞いを分析し、低品質な予測が隠蔽されることを確かめる。 CIFAR-100では,クラス毎に25ラベル,STL-10では3.78%,クラス毎に4ラベルで3.25%の誤差率向上を実現した。
論文参考訳（メタデータ） (2023-08-17T15:19:04Z)
Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文参考訳（メタデータ） (2023-03-20T12:44:11Z)
MutexMatch: Semi-supervised Learning with Mutex-based Consistency Regularization [36.019086181632005]
ミューテックスをベースとした整合性正規化(Mutex)を提案し,信頼性の低いサンプルを新しい方法で活用する。 MutexMatchは、CIFAR-10、CIFAR-100、SVHN、STL-10、mini-ImageNetなど、複数のベンチマークデータセットで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-03-27T14:28:16Z)
OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文参考訳（メタデータ） (2021-05-28T23:57:15Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
論文参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。