論文の概要: Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2108.05617v1
- Date: Thu, 12 Aug 2021 09:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-13 14:33:55.786146
- Title: Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning
- Title(参考訳): 宝物へのトラッシュ:オープンセットセミスーパービジョン学習のためのクロスモーダルマッチングを用いたOODデータのハーベスティング
- Authors: Junkai Huang, Chaowei Fang, Weikai Chen, Zhenhua Chai, Xiaolin Wei,
Pengxu Wei, Liang Lin, Guanbin Li
- Abstract要約: オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
- 参考スコア(独自算出の注目度): 101.28281124670647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-set semi-supervised learning (open-set SSL) investigates a challenging
but practical scenario where out-of-distribution (OOD) samples are contained in
the unlabeled data. While the mainstream technique seeks to completely filter
out the OOD samples for semi-supervised learning (SSL), we propose a novel
training mechanism that could effectively exploit the presence of OOD data for
enhanced feature learning while avoiding its adverse impact on the SSL. We
achieve this goal by first introducing a warm-up training that leverages all
the unlabeled data, including both the in-distribution (ID) and OOD samples.
Specifically, we perform a pretext task that enforces our feature extractor to
obtain a high-level semantic understanding of the training images, leading to
more discriminative features that can benefit the downstream tasks. Since the
OOD samples are inevitably detrimental to SSL, we propose a novel cross-modal
matching strategy to detect OOD samples. Instead of directly applying binary
classification, we train the network to predict whether the data sample is
matched to an assigned one-hot class label. The appeal of the proposed
cross-modal matching over binary classification is the ability to generate a
compatible feature space that aligns with the core classification task.
Extensive experiments show that our approach substantially lifts the
performance on open-set SSL and outperforms the state-of-the-art by a large
margin.
- Abstract(参考訳): オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
本手法は,半教師付き学習(SSL)のためのOODサンプルを完全にフィルタリングすることを目的としているが,機能学習の強化のためにOODデータの存在を効果的に活用し,SSLに対する悪影響を回避できる新たなトレーニング機構を提案する。
この目標を達成するために、まず、ID(In-distriion)とOOD(OOD)の両方を含むラベルのないすべてのデータを活用するウォームアップトレーニングを導入する。
具体的には、トレーニング画像の高レベルな意味理解を得るために、機能抽出子を強制するプリテキストタスクを実行し、下流タスクに有利なより識別的な特徴を導出します。
OODサンプルはSSLに対して必然的に有害であるため,OODサンプルを検出するための新たなクロスモーダルマッチング戦略を提案する。
バイナリ分類を直接適用する代わりに、データサンプルが割り当てられた1ホットクラスラベルと一致するかどうかを予測するためにネットワークをトレーニングする。
二項分類に対するクロスモーダルマッチングの提案の魅力は、コア分類タスクと整合する互換性のある特徴空間を生成する能力である。
大規模な実験により,オープンセットSSLの性能は大幅に向上し,最先端技術よりも高い性能を示した。
関連論文リスト
- Learning with Noisy Labels Using Collaborative Sample Selection and
Contrastive Semi-Supervised Learning [76.00798972439004]
Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。
半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
論文 参考訳(メタデータ) (2023-10-24T05:37:20Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳(メタデータ) (2023-09-09T01:57:14Z) - Exploration and Exploitation of Unlabeled Data for Open-Set
Semi-Supervised Learning [130.56124475528475]
半教師付き学習 (SSL) において, 未ラベルデータには, 内分布 (ID) と外分布 (OOD) の両方を含む, オープンセット SSL という複雑なシナリオに対処する。
提案手法は, 未ラベルデータにIDサンプルが完全に欠落している場合でも, 既存のSSL方式を改良する。
論文 参考訳(メタデータ) (2023-06-30T14:25:35Z) - On the Effectiveness of Out-of-Distribution Data in Self-Supervised
Long-Tail Learning [15.276356824489431]
我々は、長期学習(COLT)のためのOODデータを用いたコントラストを提案する。
我々はSSL長期学習におけるOODサンプルの対直感的有用性を実証的に同定した。
提案手法は,長い尾のデータセット上でのSSLの性能を大きなマージンで大幅に向上させる。
論文 参考訳(メタデータ) (2023-06-08T04:32:10Z) - Prompt-driven efficient Open-set Semi-supervised Learning [52.30303262499391]
オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。
我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-28T16:25:08Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳(メタデータ) (2022-05-02T16:09:17Z) - Matching Distributions via Optimal Transport for Semi-Supervised
Learning [31.533832244923843]
SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。
本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。
提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
論文 参考訳(メタデータ) (2020-12-04T11:15:14Z) - Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。
我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。
提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
論文 参考訳(メタデータ) (2020-07-22T10:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。