論文の概要: On The Consistency Training for Open-Set Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2101.08237v1
• Date: Tue, 19 Jan 2021 12:38:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:18:49.923481
• Title: On The Consistency Training for Open-Set Semi-Supervised Learning
• Title（参考訳）: オープンセットセミスーパーバイザラーニングのための一貫性トレーニングについて
• Authors: Huixiang Luo, Hao Cheng, Yuting Gao, Ke Li, Mengdan Zhang, Fanxu Meng, Xiaowei Guo, Feiyue Huang, Xing Sun
• Abstract要約: 我々は,OODサンプルが低次元空間と高次元空間のトレーニングに与える影響について検討した。 提案手法はOODサンプルをよりよく利用し,最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 44.046578996049654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional semi-supervised learning (SSL) methods, e.g., MixMatch, achieve great performance when both labeled and unlabeled dataset are drawn from the same distribution. However, these methods often suffer severe performance degradation in a more realistic setting, where unlabeled dataset contains out-of-distribution (OOD) samples. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. Our studies show that it is not necessary to get rid of OOD samples during training. On the contrary, the network can benefit from them if OOD samples are properly utilized. We thoroughly study how OOD samples affect DNN training in both low- and high-dimensional spaces, where two fundamental SSL methods are considered: Pseudo Labeling (PL) and Data Augmentation based Consistency Training (DACT). Conclusion is twofold: (1) unlike PL that suffers performance degradation, DACT brings improvement to model performance; (2) the improvement is closely related to class-wise distribution gap between the labeled and the unlabeled dataset. Motivated by this observation, we further improve the model performance by bridging the gap between the labeled and the unlabeled datasets (containing OOD samples). Compared to previous algorithms paying much attention to distinguishing between ID and OOD samples, our method makes better use of OOD samples and achieves state-of-the-art results.
• Abstract（参考訳）: 従来の半教師付き学習(SSL)手法、例えばMixMatchは、ラベル付きデータセットとラベルなしデータセットの両方が同じディストリビューションから引き出される場合、優れたパフォーマンスを達成する。 しかしながら、これらの手法は、ラベルなしデータセットが配布外サンプル(OOD)を含む、より現実的な環境での厳しいパフォーマンス劣化に悩まされることが多い。 最近のアプローチは、ラベルのないデータからそれらをフィルタリングすることで、oodサンプルのネガティブな影響を軽減する。 本研究は,OODサンプルをトレーニング中に除去する必要がないことを示す。 逆に、OODサンプルを適切に利用すれば、ネットワークの恩恵を受けることができる。 低次元空間と高次元空間の両方においてOODサンプルがDNNトレーニングにどのように影響するかを徹底的に研究し、Pseudo Labeling(PL)とData Augmentation based Consistency Training(DACT)の2つの基本的なSSL手法を検討する。 結論は2つある: (1) 性能劣化に苦しむPLとは異なり、DACTはモデル性能に改善をもたらし、(2) 改善はラベル付きデータセットとラベルなしデータセットの間のクラス単位の分散ギャップと密接に関連している。 この観察により,ラベル付きデータセットとラベルなしデータセット(OODサンプルを含む)のギャップを埋めることで,モデル性能をさらに向上する。 従来のアルゴリズムと比較してIDとODサンプルの区別に多くの注意を払っているのに対し,本手法はOODサンプルをよりよく利用し,最先端の結果が得られる。

関連論文リスト

• SCOMatch: Alleviating Overtrusting in Open-set Semi-supervised Learning [25.508200663171625]
  オープンセット半教師付き学習(OSSL)は、実用的なオープンセット未ラベルデータを使用する。 以前のOSSLメソッドはラベル付きIDデータを過信する傾向に悩まされていた。 我々は,OODサンプルを新たなクラスとして扱い,新たなSSLプロセスを形成する新しいOSSLであるSCOMatchを提案する。
  論文  参考訳（メタデータ） (2024-09-26T03:47:34Z)
• Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure [0.0]
  Denoising Diffusion Probabilistic Models (DDPM) を用いたOODデータ生成のためのラベル混合手法を提案する。 実験の結果,メトリック学習に基づく損失関数はソフトマックスよりも優れていた。 提案手法は従来のOOD検出指標において高いベースラインを達成している。
  論文  参考訳（メタデータ） (2024-05-01T16:58:22Z)
• How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
  in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。 本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
  論文  参考訳（メタデータ） (2024-02-05T20:36:33Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• NGC: A Unified Framework for Learning with Open-World Noisy Data [36.96188289965334]
  本稿では,データの幾何学的構造とモデル予測信頼性を利用して,クリーンなサンプルを収集するグラフベースの新しいフレームワークであるNoisy Graph Cleaning(NGC)を提案する。 異なる種類のノイズを持つ複数のベンチマークで実験を行い、その結果、我々の手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2021-08-25T04:04:46Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
  ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。 我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。 提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-07-22T10:33:55Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。