論文の概要: SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised
Classification
- arxiv url: http://arxiv.org/abs/2103.16725v1
- Date: Tue, 30 Mar 2021 23:48:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:45:31.289133
- Title: SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised
Classification
- Title(参考訳): simple: similar pseudo label exploitation for semi-supervised classification
- Authors: Zijian Hu, Zhengyu Yang, Xuefeng Hu, Ram Nevatia
- Abstract要約: 一般的な分類タスクの状況は、トレーニングに利用可能な大量のデータを持っているが、クラスラベルを持つのはごく一部である。
この文脈で、半監督トレーニングの目標は、大量のラベルのないデータからの情報を利用して分類精度を向上させることです。
本研究では,相互に類似した高信頼度ラベル付きデータ間の研究の少ない関係に焦点をあてた,教師なしの新たな目的を提案する。
提案したSimPLEアルゴリズムは,CIFAR-100およびMini-ImageNetにおける従来のアルゴリズムと比較して有意な性能向上を示した。
- 参考スコア(独自算出の注目度): 24.386165255835063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common classification task situation is where one has a large amount of
data available for training, but only a small portion is annotated with class
labels. The goal of semi-supervised training, in this context, is to improve
classification accuracy by leverage information not only from labeled data but
also from a large amount of unlabeled data. Recent works have developed
significant improvements by exploring the consistency constrain between
differently augmented labeled and unlabeled data. Following this path, we
propose a novel unsupervised objective that focuses on the less studied
relationship between the high confidence unlabeled data that are similar to
each other. The new proposed Pair Loss minimizes the statistical distance
between high confidence pseudo labels with similarity above a certain
threshold. Combining the Pair Loss with the techniques developed by the
MixMatch family, our proposed SimPLE algorithm shows significant performance
gains over previous algorithms on CIFAR-100 and Mini-ImageNet, and is on par
with the state-of-the-art methods on CIFAR-10 and SVHN. Furthermore, SimPLE
also outperforms the state-of-the-art methods in the transfer learning setting,
where models are initialized by the weights pre-trained on ImageNet or
DomainNet-Real. The code is available at github.com/zijian-hu/SimPLE.
- Abstract(参考訳): 一般的な分類タスクの状況は、トレーニングに利用可能な大量のデータを持っているが、クラスラベルでアノテートされるのはごく一部である。
半教師付きトレーニングの目標は、ラベル付きデータだけでなく、大量のラベル付きデータからの情報を活用することで、分類精度を向上させることである。
最近の研究は、異なるラベル付きデータとラベルなしデータの一貫性の制約を探求することで、大幅に改善されている。
そこで本研究では, 相互に類似する信頼度の高い非ラベルデータ間の関係に焦点をあてた新しい教師なし目標を提案する。
新たに提案されたペア損失は、一定のしきい値を超える類似度を持つ高信頼擬似ラベル間の統計的距離を最小化する。
The Pair Loss with the MixMatch family, we proposed SimPLE algorithm showed significant performance gains than previous algorithm on CIFAR-100 and Mini-ImageNet, is on the state-of-the-art method on CIFAR-10 and SVHN。
さらに、SimPLEは、ImageNetやDomainNet-Realで事前トレーニングされた重みによってモデルが初期化されるトランスファー学習設定において、最先端の手法よりも優れている。
コードはgithub.com/zijian-hu/SimPLEで入手できる。
関連論文リスト
- RankMatch: A Novel Approach to Semi-Supervised Label Distribution
Learning Leveraging Inter-label Correlations [52.549807652527306]
本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。
RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。
我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
論文 参考訳(メタデータ) (2023-12-11T12:47:29Z) - OTMatch: Improving Semi-Supervised Learning with Optimal Transport [2.737335954474364]
ラベル付きデータの有効利用により,半教師付き学習は目覚ましい進歩を遂げた。
我々は,最適輸送損失関数を用いてクラス間の意味的関係を利用する OTMatch という新しい手法を提案する。
我々は,現在最先端の手法であるFreeMatchと比較して,ある程度の精度向上が見られた。
論文 参考訳(メタデータ) (2023-10-26T15:01:54Z) - JointMatch: A Unified Approach for Diverse and Collaborative
Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。
擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。
我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
論文 参考訳(メタデータ) (2023-10-23T05:43:35Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳(メタデータ) (2022-02-27T23:06:31Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳(メタデータ) (2022-02-04T15:46:27Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z) - CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。
複数のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-11-23T02:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。