論文の概要: ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning
- arxiv url: http://arxiv.org/abs/2101.00407v2
- Date: Fri, 9 Apr 2021 01:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 07:23:25.076259
- Title: ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning
- Title（参考訳）: ORDisCo:半教師付き連続学習におけるインクリメンタル・アンラベルデータの有用性と有効利用
- Authors: Liyuan Wang, Kuo Yang, Chongxuan Li, Lanqing Hong, Zhenguo Li, Jun Zhu
- Abstract要約: 連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
- 参考スコア（独自算出の注目度）: 52.831894583501395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning usually assumes the incoming data are fully labeled, which
might not be applicable in real applications. In this work, we consider
semi-supervised continual learning (SSCL) that incrementally learns from
partially labeled data. Observing that existing continual learning methods lack
the ability to continually exploit the unlabeled data, we propose deep Online
Replay with Discriminator Consistency (ORDisCo) to interdependently learn a
classifier with a conditional generative adversarial network (GAN), which
continually passes the learned data distribution to the classifier. In
particular, ORDisCo replays data sampled from the conditional generator to the
classifier in an online manner, exploiting unlabeled data in a time- and
storage-efficient way. Further, to explicitly overcome the catastrophic
forgetting of unlabeled data, we selectively stabilize parameters of the
discriminator that are important for discriminating the pairs of old unlabeled
data and their pseudo-labels predicted by the classifier. We extensively
evaluate ORDisCo on various semi-supervised learning benchmark datasets for
SSCL, and show that ORDisCo achieves significant performance improvement on
SVHN, CIFAR10 and Tiny-ImageNet, compared to strong baselines.
- Abstract（参考訳）: 継続的な学習は通常、受信したデータが完全にラベル付けされていると仮定する。
本研究では,部分ラベル付きデータから漸進的に学習する半教師付き連続学習(SSCL)について考察する。
既存の連続学習手法では、ラベルのないデータを継続的に活用する能力がないことを確認し、学習したデータ分布を連続的に分類器に渡す条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するための、識別器の深いオンライン再生(ORDisCo)を提案する。
特にORDisCoは、条件付きジェネレータからサンプリングされたデータをオンラインの方法でリプレイし、ラベルのないデータを時間とストレージ効率で活用する。
さらに、ラベルなしデータの破滅的な忘れを明示的に克服するため、分類器によって予測される古いラベルなしデータのペアと擬ラベルの識別に重要な識別器のパラメータを選択的に安定化する。
我々は、SSCLの各種半教師付き学習ベンチマークデータセット上でORDisCoを広範囲に評価し、強力なベースラインと比較して、SVHN、CIFAR10、Tiny-ImageNetにおいてORDisCoが大幅な性能向上を実現していることを示す。
関連論文リスト
- Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。
本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。
我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
論文 参考訳（メタデータ） (2024-10-08T15:06:10Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。
本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文 参考訳（メタデータ） (2023-02-21T02:53:37Z) - Contrastive Credibility Propagation for Reliable Semi-Supervised Learning [6.014538614447467]
逐次的擬似ラベルリファインメントによる深部SSLのためのコントラストCCP(Contrastive Credibility Propagation)を提案する。
CCPは、教師付きベースラインをデータシナリオで確実に上回るために、半教師付き学習とノイズの多いラベル学習を統一する。
論文 参考訳（メタデータ） (2022-11-17T23:01:47Z) - Hyperspherical Consistency Regularization [45.00073340936437]
我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。
超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
論文 参考訳（メタデータ） (2022-06-02T02:41:13Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳（メタデータ） (2021-03-12T19:25:28Z) - Boosting the Performance of Semi-Supervised Learning with Unsupervised
Clustering [10.033658645311188]
学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。
本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
論文 参考訳（メタデータ） (2020-12-01T14:19:14Z) - Classify and Generate Reciprocally: Simultaneous Positive-Unlabelled
Learning and Conditional Generation with Extra Data [77.31213472792088]
クラスラベルデータの不足は、多くの機械学習問題において、ユビキタスなボトルネックとなっている。
本稿では, 正負ラベル付き(PU)分類と, 余分なラベル付きデータによる条件生成を活用することで, この問題に対処する。
本稿では,PU分類と条件生成を併用した新たなトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-14T08:27:40Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。