Fugu-MT 論文翻訳(概要): On The Consistency Training for Open-Set Semi-Supervised Learning

論文の概要: On The Consistency Training for Open-Set Semi-Supervised Learning

arxiv url: http://arxiv.org/abs/2101.08237v1
Date: Tue, 19 Jan 2021 12:38:17 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 11:18:49.923481
Title: On The Consistency Training for Open-Set Semi-Supervised Learning
Title（参考訳）: オープンセットセミスーパーバイザラーニングのための一貫性トレーニングについて
Authors: Huixiang Luo, Hao Cheng, Yuting Gao, Ke Li, Mengdan Zhang, Fanxu Meng, Xiaowei Guo, Feiyue Huang, Xing Sun
Abstract要約: 我々は,OODサンプルが低次元空間と高次元空間のトレーニングに与える影響について検討した。提案手法はOODサンプルをよりよく利用し,最先端の結果を得る。
参考スコア（独自算出の注目度）: 44.046578996049654
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conventional semi-supervised learning (SSL) methods, e.g., MixMatch, achieve great performance when both labeled and unlabeled dataset are drawn from the same distribution. However, these methods often suffer severe performance degradation in a more realistic setting, where unlabeled dataset contains out-of-distribution (OOD) samples. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. Our studies show that it is not necessary to get rid of OOD samples during training. On the contrary, the network can benefit from them if OOD samples are properly utilized. We thoroughly study how OOD samples affect DNN training in both low- and high-dimensional spaces, where two fundamental SSL methods are considered: Pseudo Labeling (PL) and Data Augmentation based Consistency Training (DACT). Conclusion is twofold: (1) unlike PL that suffers performance degradation, DACT brings improvement to model performance; (2) the improvement is closely related to class-wise distribution gap between the labeled and the unlabeled dataset. Motivated by this observation, we further improve the model performance by bridging the gap between the labeled and the unlabeled datasets (containing OOD samples). Compared to previous algorithms paying much attention to distinguishing between ID and OOD samples, our method makes better use of OOD samples and achieves state-of-the-art results.
Abstract（参考訳）: 従来の半教師付き学習(SSL)手法、例えばMixMatchは、ラベル付きデータセットとラベルなしデータセットの両方が同じディストリビューションから引き出される場合、優れたパフォーマンスを達成する。しかしながら、これらの手法は、ラベルなしデータセットが配布外サンプル(OOD)を含む、より現実的な環境での厳しいパフォーマンス劣化に悩まされることが多い。最近のアプローチは、ラベルのないデータからそれらをフィルタリングすることで、oodサンプルのネガティブな影響を軽減する。本研究は,OODサンプルをトレーニング中に除去する必要がないことを示す。逆に、OODサンプルを適切に利用すれば、ネットワークの恩恵を受けることができる。低次元空間と高次元空間の両方においてOODサンプルがDNNトレーニングにどのように影響するかを徹底的に研究し、Pseudo Labeling(PL)とData Augmentation based Consistency Training(DACT)の2つの基本的なSSL手法を検討する。結論は2つある: (1) 性能劣化に苦しむPLとは異なり、DACTはモデル性能に改善をもたらし、(2) 改善はラベル付きデータセットとラベルなしデータセットの間のクラス単位の分散ギャップと密接に関連している。この観察により,ラベル付きデータセットとラベルなしデータセット(OODサンプルを含む)のギャップを埋めることで,モデル性能をさらに向上する。従来のアルゴリズムと比較してIDとODサンプルの区別に多くの注意を払っているのに対し,本手法はOODサンプルをよりよく利用し,最先端の結果が得られる。