論文の概要: Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering

• arxiv url: http://arxiv.org/abs/2012.00504v1
• Date: Tue, 1 Dec 2020 14:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 20:01:09.822598
• Title: Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
• Title（参考訳）: 教師なしクラスタリングによる半教師付き学習の性能向上
• Authors: Boaz Lerner, Guy Shiran, Daphna Weinshall
• Abstract要約: 学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。 本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
• 参考スコア（独自算出の注目度）: 10.033658645311188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Semi-Supervised Learning (SSL) has shown much promise in leveraging unlabeled data while being provided with very few labels. In this paper, we show that ignoring the labels altogether for whole epochs intermittently during training can significantly improve performance in the small sample regime. More specifically, we propose to train a network on two tasks jointly. The primary classification task is exposed to both the unlabeled and the scarcely annotated data, whereas the secondary task seeks to cluster the data without any labels. As opposed to hand-crafted pretext tasks frequently used in self-supervision, our clustering phase utilizes the same classification network and head in an attempt to relax the primary task and propagate the information from the labels without overfitting them. On top of that, the self-supervised technique of classifying image rotations is incorporated during the unsupervised learning phase to stabilize training. We demonstrate our method's efficacy in boosting several state-of-the-art SSL algorithms, significantly improving their results and reducing running time in various standard semi-supervised benchmarks, including 92.6% accuracy on CIFAR-10 and 96.9% on SVHN, using only 4 labels per class in each task. We also notably improve the results in the extreme cases of 1,2 and 3 labels per class, and show that features learned by our model are more meaningful for separating the data.
• Abstract（参考訳）: 最近、SSL(Semi-Supervised Learning)はラベルのないデータを活用する上で、非常に少数のラベルが提供されている。 本稿では,訓練期間中に断続的にラベルを無視することで,小規模サンプルシステムの性能が著しく向上することを示す。 具体的には,2つのタスクのネットワークを協調的にトレーニングすることを提案する。 一次分類タスクはラベルのないデータと少ない注釈付きデータの両方に露出するが、二次分類タスクはラベルなしでデータをクラスタ化しようとする。 自己スーパービジョンで頻繁に使用される手作りのプリテキストタスクとは対照的に、クラスタリングフェーズでは、同じ分類ネットワークとヘッドを使用して、プライマリタスクを緩和し、ラベルから情報をオーバーフィットすることなく伝達する。 さらに、教師なし学習フェーズ中に、画像回転を分類する自己教師あり技術が組み込まれ、トレーニングを安定させる。 本手法は,いくつかの最先端sslアルゴリズムを高速化し,その性能を著しく改善し,cifar-10における92.6%の精度とsvhnでの96.9%を含む様々な標準半教師付きベンチマークで実行時間を短縮する効果を示す。 また、クラス毎に1,2ラベルと3ラベルの極端なケースで結果を改善し、モデルによって学習された特徴がデータ分離に有意義であることを示す。

関連論文リスト

• Boosting Consistency in Dual Training for Long-Tailed Semi-Supervised Learning [49.07038093130949]
  Long-tailed semi-supervised learning (LTSSL)アルゴリズムは、ラベル付きデータとラベルなしデータのクラス分布がほぼ同一であると仮定する。 未知のクラス分布からラベル付けされていないデータを効果的に活用できる新しい簡易手法を提案する。 BOATは様々な標準LTSSLベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-19T03:35:26Z)
• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning [44.91863420044712]
  オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。 本稿では,(1)モデル偏差を軽減するためにクラス固有の負のマージンを課するアダプティブ・コミュニケート・ラミナル・ロス,(2)モデルによって予測される擬似ラベルを利用した擬似ラベル・コントラッシブ・クラスタリングについて紹介する。 本手法は,授業の学習速度のバランスを保ち,画像Netデータセットの平均精度を3%向上させる。
  論文  参考訳（メタデータ） (2023-09-21T09:44:39Z)
• PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification [64.39761523935613]
  トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。 近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
  論文  参考訳（メタデータ） (2022-08-30T01:27:48Z)
• CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
  Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。 CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
  論文  参考訳（メタデータ） (2022-02-17T08:09:40Z)
• CaSP: Class-agnostic Semi-Supervised Pretraining for Detection and Segmentation [60.28924281991539]
  本稿では,タスク固有性バランスを向上するために,クラス非依存型半教師付き事前学習(CaSP)フレームワークを提案する。 我々は3.6Mの未ラベルデータを用いて、ImageNetで規定されたオブジェクト検出のベースラインよりも4.7%の顕著なパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2021-12-09T14:54:59Z)
• STAR: Noisy Semi-Supervised Transfer Learning for Visual Classification [0.8662293148437356]
  半教師付き学習(SSL)は、大規模なラベルなしデータの活用に有効であることが証明されている。 最近のSSLメソッドは、数十億のスケールでラベル付けされていないイメージデータに依存している。 本稿では,移動学習と自己学習を統合した半教師あり半教師ありトランスファー学習を提案する。
  論文  参考訳（メタデータ） (2021-08-18T19:35:05Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)
• Deep Categorization with Semi-Supervised Self-Organizing Maps [0.0]
  本稿では,Batch Semi-Supervised Self-Organizing Map (Batch SS-SOM)と呼ばれる半教師付きモデルを提案する。 その結果,Batch SS-SOMは半教師付き分類とクラスタリングに最適であることがわかった。 少数のラベル付きサンプルであっても、精度とクラスタリングエラーの点でうまく機能する。
  論文  参考訳（メタデータ） (2020-06-17T22:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。