論文の概要: FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2310.16412v1
• Date: Wed, 25 Oct 2023 06:57:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 16:19:36.877354
• Title: FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning
• Title（参考訳）: FlatMatch: 半教師付き学習のためのラベル付きデータとクロスシャープ付きラベルなしデータ
• Authors: Zhuo Huang, Li Shen, Jun Yu, Bo Han, Tongliang Liu
• Abstract要約: Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
• 参考スコア（独自算出の注目度）: 73.13448439554497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-Supervised Learning (SSL) has been an effective way to leverage abundant unlabeled data with extremely scarce labeled data. However, most SSL methods are commonly based on instance-wise consistency between different data transformations. Therefore, the label guidance on labeled data is hard to be propagated to unlabeled data. Consequently, the learning process on labeled data is much faster than on unlabeled data which is likely to fall into a local minima that does not favor unlabeled data, leading to sub-optimal generalization performance. In this paper, we propose FlatMatch which minimizes a cross-sharpness measure to ensure consistent learning performance between the two datasets. Specifically, we increase the empirical risk on labeled data to obtain a worst-case model which is a failure case that needs to be enhanced. Then, by leveraging the richness of unlabeled data, we penalize the prediction difference (i.e., cross-sharpness) between the worst-case model and the original model so that the learning direction is beneficial to generalization on unlabeled data. Therefore, we can calibrate the learning process without being limited to insufficient label information. As a result, the mismatched learning performance can be mitigated, further enabling the effective exploitation of unlabeled data and improving SSL performance. Through comprehensive validation, we show FlatMatch achieves state-of-the-art results in many SSL settings.
• Abstract（参考訳）: Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 しかしながら、ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 したがってラベルデータに対するラベルガイダンスをラベルデータに伝達することは困難である。 したがって、ラベル付きデータの学習プロセスは、ラベル付きデータを好まないローカルのミニマムに陥りやすいラベル付きデータよりもずっと高速であり、最適でない一般化性能をもたらす。 本稿では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネスを最小化するFlatMatchを提案する。 具体的には、ラベル付きデータに対する経験的リスクを増大させ、拡張すべき障害ケースである最悪のケースモデルを得る。 そして、ラベルなしデータの豊かさを活用することで、最悪ケースモデルと元のモデルとの予測差(すなわちクロスシャープ性)をペナルティ化し、ラベルなしデータの一般化に学習方向が有益になるようにする。 したがって,ラベル情報不足に制限されることなく,学習プロセスを校正することができる。 その結果、ミスマッチした学習性能を軽減でき、さらにラベルなしデータの有効活用とSSL性能の向上が可能となる。 包括的な検証を通じて、FlatMatchは多くのSSL設定で最先端の結果を達成することを示す。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• VCC-INFUSE: Towards Accurate and Efficient Selection of Unlabeled Examples in Semi-supervised Learning [1.0007051676618415]
  既存の手法では、ラベルのないデータを効果的かつ効率的に利用できない。 本稿では,変分信頼度 (VCC) と影響Function-based Unlabeled Sample Elimination (INFUSE) の2つの手法を提案する。 提案手法は,複数のデータセットや設定において有効であり,誤り分類率を低減し,トレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-04-18T06:59:40Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Boosting Semi-Supervised Learning with Contrastive Complementary Labeling [11.851898765002334]
  一般的なアプローチは擬似ラベル作成であり、信頼度の高いラベル付きデータに対してのみ擬似ラベルを生成する。 信頼度が低い擬似ラベルを持つデータは、トレーニングプロセスにまだ有効である可能性があることを強調する。 そこで本研究では,多数の信頼な負対を構成する新しいコントラスト補完ラベリング法を提案する。
  論文  参考訳（メタデータ） (2022-12-13T15:25:49Z)
• ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。 本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。 実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
  論文  参考訳（メタデータ） (2022-05-21T11:52:08Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Unsupervised Selective Labeling for More Effective Semi-Supervised Learning [46.414510522978425]
  教師なしの選択的なラベル付けは、与えられたラベル付きデータの最先端のアクティブラーニングよりもSSLメソッドを一貫して改善する。 私たちの仕事は、実用的で効率的なSSLの新しい標準を設定します。
  論文  参考訳（メタデータ） (2021-10-06T18:25:50Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。