論文の概要: MaskMatch: Boosting Semi-Supervised Learning Through Mask Autoencoder-Driven Feature Learning
- arxiv url: http://arxiv.org/abs/2405.06227v1
- Date: Fri, 10 May 2024 03:39:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 16:47:25.783779
- Title: MaskMatch: Boosting Semi-Supervised Learning Through Mask Autoencoder-Driven Feature Learning
- Title（参考訳）: MaskMatch: Mask Autoencoder駆動の機能学習による半教師付き学習の促進
- Authors: Wenjin Zhang, Keyi Li, Sen Yang, Chenyang Gao, Wanzhao Yang, Sifan Yuan, Ivan Marsic,
- Abstract要約: algoは、ラベルのないデータを完全に活用して、半教師付き学習を促進する新しいアルゴリズムである。
algoは自己教師型学習戦略、すなわちMasked Autoencoder(MAE)を統合する。
アルゴは、挑戦的なデータセットでそれぞれ18.71%、9.47%、3.07%の低いエラー率を達成する。
- 参考スコア（独自算出の注目度）: 8.255082589733673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional methods in semi-supervised learning (SSL) often face challenges related to limited data utilization, mainly due to their reliance on threshold-based techniques for selecting high-confidence unlabeled data during training. Various efforts (e.g., FreeMatch) have been made to enhance data utilization by tweaking the thresholds, yet none have managed to use 100% of the available data. To overcome this limitation and improve SSL performance, we introduce \algo, a novel algorithm that fully utilizes unlabeled data to boost semi-supervised learning. \algo integrates a self-supervised learning strategy, i.e., Masked Autoencoder (MAE), that uses all available data to enforce the visual representation learning. This enables the SSL algorithm to leverage all available data, including samples typically filtered out by traditional methods. In addition, we propose a synthetic data training approach to further increase data utilization and improve generalization. These innovations lead \algo to achieve state-of-the-art results on challenging datasets. For instance, on CIFAR-100 with 2 labels per class, STL-10 with 4 labels per class, and Euro-SAT with 2 labels per class, \algo achieves low error rates of 18.71%, 9.47%, and 3.07%, respectively. The code will be made publicly available.
- Abstract（参考訳）: 半教師付き学習(SSL)における従来の手法は、トレーニング中に高信頼なラベル付きデータを選択するためのしきい値ベースの技術に依存しているため、限られたデータ利用に関する課題に直面することが多い。
しきい値の調整によってデータ利用を向上させるさまざまな取り組み(例:FreeMatch)が実施されているが、利用可能なデータの100%をうまく利用することはできない。
この制限を克服し、SSL性能を向上させるために、未ラベルデータを完全に活用して半教師付き学習を促進する新しいアルゴリズムである \algo を導入する。
\algoは自己教師型学習戦略、すなわちMasked Autoencoder(MAE)を統合し、すべての利用可能なデータを使用して視覚表現学習を強制する。
これによりSSLアルゴリズムは、従来の方法でフィルタリングされるサンプルを含む、利用可能なすべてのデータを活用することができる。
さらに,データ利用をさらに促進し,一般化を向上させるための合成データトレーニング手法を提案する。
これらのイノベーションは、挑戦的なデータセットに関する最先端の結果を達成するために、Shaalgoを導く。
例えば、クラスごとに2つのラベルを持つCIFAR-100、クラスごとに4つのラベルを持つSTL-10、クラスごとに2つのラベルを持つEuro-SATでは、それぞれ18.71%、9.47%、3.07%という低いエラー率を達成する。
コードは公開されます。
関連論文リスト
- Improving 3D Semi-supervised Learning by Effectively Utilizing All Unlabelled Data [21.015491263215786]
半教師付き学習(SSL)は,少量のラベル付きデータから有効な3次元表現を学習する上での有効性を示した。
SSLベースの新しい3D分類フレームワークであるAllMatchを提案する。
論文 参考訳（メタデータ） (2024-09-21T01:53:52Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳（メタデータ） (2023-03-20T12:44:11Z) - Semantic Segmentation with Active Semi-Supervised Representation
Learning [23.79742108127707]
我々はラベル付きデータよりもはるかに少ない効果的なセマンティックセグメンテーションアルゴリズムを訓練する。
半教師あり学習のための平均教師アプローチを自己学習アプローチに置き換えることで、従来のS4ALアルゴリズムを拡張した。
セマンティックセグメンテーションのためのアクティブラーニングのためのデファクト標準であるCamVidおよびCityScapesデータセットについて,本手法の評価を行った。
論文 参考訳（メタデータ） (2022-10-16T00:21:43Z) - Is margin all you need? An extensive empirical study of active learning
on tabular data [66.18464006872345]
我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。
意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
論文 参考訳（メタデータ） (2022-10-07T21:18:24Z) - Towards Realistic Semi-Supervised Learning [73.59557447798134]
オープンワールド環境でSSLに取り組み、未知のクラスと未知のクラスを同時に分類する新しい手法を提案する。
我々のアプローチは、既存の最先端の7つのデータセットよりも大幅に優れています。
論文 参考訳（メタデータ） (2022-07-05T19:04:43Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-03-04T12:18:23Z) - SCARF: Self-Supervised Contrastive Learning using Random Feature
Corruption [72.35532598131176]
本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。
SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-29T08:08:33Z) - Relieving the Plateau: Active Semi-Supervised Learning for a Better
Landscape [2.3046646540823916]
semi-supervised learning (ssl) はラベル付きデータよりもアクセスしやすいラベルなしデータを活用する。
active learning (al)は、ラベルなしのインスタンスを選択して、ラベル付きデータの少ないパフォーマンスを期待する。
本稿では,ラベル付き集合を含む問題条件を改善するためにラベル付きデータを選択するALアルゴリズムである収束率制御(CRC)を提案する。
論文 参考訳（メタデータ） (2021-04-08T06:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。