論文の概要: Safe Semi-Supervised Contrastive Learning Using In-Distribution Data as Positive Examples
- arxiv url: http://arxiv.org/abs/2408.01872v1
- Date: Sat, 3 Aug 2024 22:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 18:01:12.264162
- Title: Safe Semi-Supervised Contrastive Learning Using In-Distribution Data as Positive Examples
- Title（参考訳）: In-Distribution Data を用いた安全な半教師付きコントラスト学習
- Authors: Min Gu Kwak, Hyungu Kahng, Seoung Bum Kim,
- Abstract要約: 本稿では,大量のラベルのないデータを完全に活用するための,自己教師付きコントラスト学習手法を提案する。
その結果,自己指導型コントラスト学習は分類精度を著しく向上させることがわかった。
- 参考スコア（独自算出の注目度）: 3.4546761246181696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-supervised learning methods have shown promising results in solving many practical problems when only a few labels are available. The existing methods assume that the class distributions of labeled and unlabeled data are equal; however, their performances are significantly degraded in class distribution mismatch scenarios where out-of-distribution (OOD) data exist in the unlabeled data. Previous safe semi-supervised learning studies have addressed this problem by making OOD data less likely to affect training based on labeled data. However, even if the studies effectively filter out the unnecessary OOD data, they can lose the basic information that all data share regardless of class. To this end, we propose to apply a self-supervised contrastive learning approach to fully exploit a large amount of unlabeled data. We also propose a contrastive loss function with coefficient schedule to aggregate as an anchor the labeled negative examples of the same class into positive examples. To evaluate the performance of the proposed method, we conduct experiments on image classification datasets - CIFAR-10, CIFAR-100, Tiny ImageNet, and CIFAR-100+Tiny ImageNet - under various mismatch ratios. The results show that self-supervised contrastive learning significantly improves classification accuracy. Moreover, aggregating the in-distribution examples produces better representation and consequently further improves classification accuracy.
- Abstract（参考訳）: 半教師付き学習法は,少数のラベルが利用可能である場合に,多くの実用的な問題を解く上で有望な結果を示した。
既存の手法ではラベル付きデータのクラス分布とラベルなしデータのクラス分布は等しいと仮定するが、その性能は、ラベルなしデータの中にOOD(out-of-distriion)データが存在するクラス分布ミスマッチのシナリオで著しく低下する。
従来の安全な半教師付き学習研究は、ラベル付きデータに基づくトレーニングにOODデータが影響しにくくすることでこの問題に対処してきた。
しかし、研究によって不要なOODデータを効果的にフィルタリングしても、クラスに関わらず、すべてのデータが共有する基本的な情報を失う可能性がある。
そこで本稿では,ラベルのない大量のデータを完全に活用するために,自己教師付きコントラスト学習手法を提案する。
また、同じクラスのラベル付き負の例を正の例にアンカーとして集約するために、係数スケジュールを持つ対照的な損失関数を提案する。
提案手法の性能を評価するため,様々なミスマッチ比で画像分類データセット(CIFAR-10, CIFAR-100, Tiny ImageNet, CIFAR-100+ Tiny ImageNet)について実験を行った。
その結果,自己指導型コントラスト学習は分類精度を著しく向上させることがわかった。
さらに,分布内例の集約により表現性が向上し,分類精度が向上する。
関連論文リスト
- CLAF: Contrastive Learning with Augmented Features for Imbalanced
Semi-Supervised Learning [40.5117833362268]
半教師付き学習とコントラスト学習は、ポピュラーなアプリケーションでより良いパフォーマンスを達成するために徐々に組み合わせられてきた。
1つの一般的な方法は、擬似ラベルを未ラベルのサンプルに割り当て、擬似ラベルのサンプルから正と負のサンプルを選択して、対照的な学習を適用することである。
比較学習における少数クラスサンプルの不足を軽減するために,CLAF(Contrastive Learning with Augmented Features)を提案する。
論文 参考訳（メタデータ） (2023-12-15T08:27:52Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-21T09:07:15Z) - Incorporating Semi-Supervised and Positive-Unlabeled Learning for
Boosting Full Reference Image Quality Assessment [73.61888777504377]
フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。
ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。
本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
論文 参考訳（メタデータ） (2022-04-19T09:10:06Z) - Improving Contrastive Learning on Imbalanced Seed Data via Open-World
Sampling [96.8742582581744]
我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。
MAKは、尾性、近接性、多様性の3つの単純な原則に従う。
我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
論文 参考訳（メタデータ） (2021-11-01T15:09:41Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-11T01:36:08Z) - SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised
Classification [24.386165255835063]
一般的な分類タスクの状況は、トレーニングに利用可能な大量のデータを持っているが、クラスラベルを持つのはごく一部である。
この文脈で、半監督トレーニングの目標は、大量のラベルのないデータからの情報を利用して分類精度を向上させることです。
本研究では,相互に類似した高信頼度ラベル付きデータ間の研究の少ない関係に焦点をあてた,教師なしの新たな目的を提案する。
提案したSimPLEアルゴリズムは,CIFAR-100およびMini-ImageNetにおける従来のアルゴリズムと比較して有意な性能向上を示した。
論文 参考訳（メタデータ） (2021-03-30T23:48:06Z) - MixPUL: Consistency-based Augmentation for Positive and Unlabeled
Learning [8.7382177147041]
本稿では, 整合性正規化に基づく簡易かつ効果的なデータ拡張手法である coinedalgo を提案する。
アルゴインコーポレートは、拡張データを生成するために、教師付きおよび教師なしの一貫性トレーニングを行う。
我々は,CIFAR-10データセットの分類誤差を16.49から13.09まで,それぞれ異なる正のデータ量で平均的に改善したことを示す。
論文 参考訳（メタデータ） (2020-04-20T15:43:33Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。