論文の概要: Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE)

• arxiv url: http://arxiv.org/abs/2206.14261v1
• Date: Tue, 28 Jun 2022 19:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 07:33:29.174982
• Title: Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE)
• Title（参考訳）: Pseudo expectation Maximization (SCOPE) のための半教師付きコントラスト外乱除去法
• Authors: Sumeet Menon, David Chapman
• Abstract要約: Pseudo expectation Maximization (SCOPE) のための半教師付きコントラスト外乱除去法を用いて, 共起誤差を抑制する新しい手法を提案する。 その結果,SCOPEはベースライン上での半教師付き分類精度を大幅に向上し,さらに整合正則化と組み合わせた場合,250と4000のラベル付きサンプルを用いた半教師付きCIFAR-10分類タスクにおいて最も高い精度が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Semi-supervised learning is the problem of training an accurate predictive model by combining a small labeled dataset with a presumably much larger unlabeled dataset. Many methods for semi-supervised deep learning have been developed, including pseudolabeling, consistency regularization, and contrastive learning techniques. Pseudolabeling methods however are highly susceptible to confounding, in which erroneous pseudolabels are assumed to be true labels in early iterations, thereby causing the model to reinforce its prior biases and thereby fail to generalize to strong predictive performance. We present a new approach to suppress confounding errors through a method we describe as Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE). Like basic pseudolabeling, SCOPE is related to Expectation Maximization (EM), a latent variable framework which can be extended toward understanding cluster-assumption deep semi-supervised algorithms. However, unlike basic pseudolabeling which fails to adequately take into account the probability of the unlabeled samples given the model, SCOPE introduces an outlier suppression term designed to improve the behavior of EM iteration given a discrimination DNN backbone in the presence of outliers. Our results show that SCOPE greatly improves semi-supervised classification accuracy over a baseline, and furthermore when combined with consistency regularization achieves the highest reported accuracy for the semi-supervised CIFAR-10 classification task using 250 and 4000 labeled samples. Moreover, we show that SCOPE reduces the prevalence of confounding errors during pseudolabeling iterations by pruning erroneous high-confidence pseudolabeled samples that would otherwise contaminate the labeled set in subsequent retraining iterations.
• Abstract（参考訳）: 半教師付き学習は、小さなラベル付きデータセットとおそらくはるかに大きなラベル付きデータセットを組み合わせることで、正確な予測モデルをトレーニングする問題である。 擬似ラベリング、一貫性規則化、コントラスト学習技術など、半教師付き深層学習のための多くの手法が開発されている。 しかし、擬似ラベルは初期の反復において真のラベルであると仮定されるため、擬似ラベル法は先行バイアスを補強し、強い予測性能に一般化することができない。 本稿では, Pseudo expectation Maximization (SCOPE) のための半教師付きコントラスト外乱除去法を用いて, 境界誤差を抑制する新しい手法を提案する。 SCOPEは、基本的な擬似ラベル化と同様に、クラスタ推定深層半教師付きアルゴリズムを理解するために拡張できる潜在変数フレームワークである期待最大化(EM)に関連している。 しかし、モデルが与えられた未ラベルのサンプルの確率を適切に考慮できない基本的な擬似ラベルとは異なり、SCOPEは、外れ値の存在下でのDNNバックボーンが与えられたときのEMイテレーションの挙動を改善するために設計された外れ値抑制項を導入する。 その結果,SCOPEはベースライン上での半教師付き分類精度を大幅に向上し,さらに整合正則化と組み合わせた場合,250と4000のラベル付きサンプルを用いた半教師付きCIFAR-10分類タスクにおいて最も高い精度が得られた。 さらに,SCOPEは,後続の反復においてラベル付きセットを汚染する誤信の高い疑似ラベル付きサンプルを抽出することにより,擬似ラベル付け繰り返しにおける誤り発生率を低下させることを示した。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• AllMatch: Exploiting All Unlabeled Data for Semi-Supervised Learning [5.0823084858349485]
  提案するSSLアルゴリズムであるAllMatchは,擬似ラベル精度の向上とラベルなしデータの100%利用率の向上を実現する。 その結果、AllMatchは既存の最先端メソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-06-22T06:59:52Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
  我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。 整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。 実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-02-15T10:40:51Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for Semi-Supervised Text Recognition [21.583569162994277]
  最も一般的なSSLアプローチの1つは擬似ラベル(PL)である。 PL法はノイズによって著しく劣化し、ノイズの多いラベルに過度に適合する傾向がある。 テキスト認識のための擬似ラベル生成と不確実性に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-31T02:21:02Z)
• Contrastive Regularization for Semi-Supervised Learning [46.020125061295886]
  そこで本稿では, ラベルのないデータの特徴量により, 整合正則化の効率性と精度を両立させるために, 対照的な正則化を提案する。 また,提案手法は,ラベルなしデータに分布しないサンプルを含むオープンセット半教師付き学習において,頑健な性能を示す。
  論文  参考訳（メタデータ） (2022-01-17T07:20:11Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。