論文の概要: On The Consistency Training for Open-Set Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2101.08237v1
• Date: Tue, 19 Jan 2021 12:38:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:18:49.923481
• Title: On The Consistency Training for Open-Set Semi-Supervised Learning
• Title（参考訳）: オープンセットセミスーパーバイザラーニングのための一貫性トレーニングについて
• Authors: Huixiang Luo, Hao Cheng, Yuting Gao, Ke Li, Mengdan Zhang, Fanxu Meng, Xiaowei Guo, Feiyue Huang, Xing Sun
• Abstract要約: 我々は,OODサンプルが低次元空間と高次元空間のトレーニングに与える影響について検討した。 提案手法はOODサンプルをよりよく利用し,最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 44.046578996049654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional semi-supervised learning (SSL) methods, e.g., MixMatch, achieve great performance when both labeled and unlabeled dataset are drawn from the same distribution. However, these methods often suffer severe performance degradation in a more realistic setting, where unlabeled dataset contains out-of-distribution (OOD) samples. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. Our studies show that it is not necessary to get rid of OOD samples during training. On the contrary, the network can benefit from them if OOD samples are properly utilized. We thoroughly study how OOD samples affect DNN training in both low- and high-dimensional spaces, where two fundamental SSL methods are considered: Pseudo Labeling (PL) and Data Augmentation based Consistency Training (DACT). Conclusion is twofold: (1) unlike PL that suffers performance degradation, DACT brings improvement to model performance; (2) the improvement is closely related to class-wise distribution gap between the labeled and the unlabeled dataset. Motivated by this observation, we further improve the model performance by bridging the gap between the labeled and the unlabeled datasets (containing OOD samples). Compared to previous algorithms paying much attention to distinguishing between ID and OOD samples, our method makes better use of OOD samples and achieves state-of-the-art results.
• Abstract（参考訳）: 従来の半教師付き学習(SSL)手法、例えばMixMatchは、ラベル付きデータセットとラベルなしデータセットの両方が同じディストリビューションから引き出される場合、優れたパフォーマンスを達成する。 しかしながら、これらの手法は、ラベルなしデータセットが配布外サンプル(OOD)を含む、より現実的な環境での厳しいパフォーマンス劣化に悩まされることが多い。 最近のアプローチは、ラベルのないデータからそれらをフィルタリングすることで、oodサンプルのネガティブな影響を軽減する。 本研究は,OODサンプルをトレーニング中に除去する必要がないことを示す。 逆に、OODサンプルを適切に利用すれば、ネットワークの恩恵を受けることができる。 低次元空間と高次元空間の両方においてOODサンプルがDNNトレーニングにどのように影響するかを徹底的に研究し、Pseudo Labeling(PL)とData Augmentation based Consistency Training(DACT)の2つの基本的なSSL手法を検討する。 結論は2つある: (1) 性能劣化に苦しむPLとは異なり、DACTはモデル性能に改善をもたらし、(2) 改善はラベル付きデータセットとラベルなしデータセットの間のクラス単位の分散ギャップと密接に関連している。 この観察により,ラベル付きデータセットとラベルなしデータセット(OODサンプルを含む)のギャップを埋めることで,モデル性能をさらに向上する。 従来のアルゴリズムと比較してIDとODサンプルの区別に多くの注意を払っているのに対し,本手法はOODサンプルをよりよく利用し,最先端の結果が得られる。

関連論文リスト

• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
  ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:35:15Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• NGC: A Unified Framework for Learning with Open-World Noisy Data [36.96188289965334]
  本稿では,データの幾何学的構造とモデル予測信頼性を利用して,クリーンなサンプルを収集するグラフベースの新しいフレームワークであるNoisy Graph Cleaning(NGC)を提案する。 異なる種類のノイズを持つ複数のベンチマークで実験を行い、その結果、我々の手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2021-08-25T04:04:46Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
  我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:04:44Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。