論文の概要: MaxMatch: Semi-Supervised Learning with Worst-Case Consistency

• arxiv url: http://arxiv.org/abs/2209.12611v1
• Date: Mon, 26 Sep 2022 12:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:20:33.110374
• Title: MaxMatch: Semi-Supervised Learning with Worst-Case Consistency
• Title（参考訳）: MaxMatch: 最悪の一貫性を備えた半教師付き学習
• Authors: Yangbangyan Jiang, Xiaodan Li, Yuefeng Chen, Yuan He, Qianqian Xu, Zhiyong Yang, Xiaochun Cao, Qingming Huang
• Abstract要約: 半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
• 参考スコア（独自算出の注目度）: 149.03760479533855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, great progress has been made to incorporate unlabeled data to overcome the inefficiently supervised problem via semi-supervised learning (SSL). Most state-of-the-art models are based on the idea of pursuing consistent model predictions over unlabeled data toward the input noise, which is called consistency regularization. Nonetheless, there is a lack of theoretical insights into the reason behind its success. To bridge the gap between theoretical and practical results, we propose a worst-case consistency regularization technique for SSL in this paper. Specifically, we first present a generalization bound for SSL consisting of the empirical loss terms observed on labeled and unlabeled training data separately. Motivated by this bound, we derive an SSL objective that minimizes the largest inconsistency between an original unlabeled sample and its multiple augmented variants. We then provide a simple but effective algorithm to solve the proposed minimax problem, and theoretically prove that it converges to a stationary point. Experiments on five popular benchmark datasets validate the effectiveness of our proposed method.
• Abstract（参考訳）: 近年, 半教師付き学習(SSL)による非効率な教師付き問題を克服するために, ラベル付きデータを組み込むことが大きな進歩を遂げている。 最先端モデルの多くは、ラベルのないデータに対して一貫性のあるモデル予測を入力ノイズに追従するという考えに基づいている。 それでも、その成功の背景にある理由に関する理論的知見は乏しい。 本稿では,理論結果と実用結果のギャップを埋めるために,SSLの最悪ケース整合正則化手法を提案する。 具体的には、ラベル付きおよびラベルなしのトレーニングデータで観測される経験的損失項からなるsslの一般化を提案する。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。 提案するミニマックス問題を解くための単純だが効果的なアルゴリズムを提供し、理論上は定常点に収束することを示す。 提案手法の有効性を検証した5つのベンチマークデータセットの実験を行った。

関連論文リスト

• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning [43.51182049644767]
  半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。 本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
  論文  参考訳（メタデータ） (2022-02-24T06:00:05Z)
• Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis [21.8311401851523]
  そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。 本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T02:19:01Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation [48.294903659573585]
  本稿では,多段階アプローチの親和性学習を単一段階モデルに組み込むことを提案する。 深層ニューラルネットワークは、トレーニングフェーズで包括的なセマンティック情報を提供するために使用される。 提案手法の有効性を評価するため,PASCAL VOC 2012データセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-08-03T07:48:33Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。