論文の概要: Semi-Supervised Learning via Weight-aware Distillation under Class Distribution Mismatch

• arxiv url: http://arxiv.org/abs/2308.11874v1
• Date: Wed, 23 Aug 2023 02:37:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 16:07:43.029746
• Title: Semi-Supervised Learning via Weight-aware Distillation under Class Distribution Mismatch
• Title（参考訳）: クラス分散ミスマッチによる重み付き蒸留による半教師付き学習
• Authors: Pan Du, Suyun Zhao, Zisen Sheng, Cuiping Li, Hong Chen
• Abstract要約: 我々は、SSLエラーを軽減するために、Weight-Aware Distillation (WAD)と呼ばれる堅牢なSSLフレームワークを提案する。 WADは、表現空間内のポイント相互情報(PMI)を探索することにより、適応重みと高品質な擬似ラベルをターゲットインスタンスにキャプチャする。 集団分布ミスマッチでは,WADは人口リスクの上限が狭いことが証明された。
• 参考スコア（独自算出の注目度）: 15.57119122765309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-Supervised Learning (SSL) under class distribution mismatch aims to tackle a challenging problem wherein unlabeled data contain lots of unknown categories unseen in the labeled ones. In such mismatch scenarios, traditional SSL suffers severe performance damage due to the harmful invasion of the instances with unknown categories into the target classifier. In this study, by strict mathematical reasoning, we reveal that the SSL error under class distribution mismatch is composed of pseudo-labeling error and invasion error, both of which jointly bound the SSL population risk. To alleviate the SSL error, we propose a robust SSL framework called Weight-Aware Distillation (WAD) that, by weights, selectively transfers knowledge beneficial to the target task from unsupervised contrastive representation to the target classifier. Specifically, WAD captures adaptive weights and high-quality pseudo labels to target instances by exploring point mutual information (PMI) in representation space to maximize the role of unlabeled data and filter unknown categories. Theoretically, we prove that WAD has a tight upper bound of population risk under class distribution mismatch. Experimentally, extensive results demonstrate that WAD outperforms five state-of-the-art SSL approaches and one standard baseline on two benchmark datasets, CIFAR10 and CIFAR100, and an artificial cross-dataset. The code is available at https://github.com/RUC-DWBI-ML/research/tree/main/WAD-master.
• Abstract（参考訳）: クラス分散ミスマッチ下での半教師付き学習(SSL)は、ラベル付けされていないデータがラベル付けされていない多くの未知のカテゴリを含むという課題に対処することを目的としている。 このようなミスマッチシナリオでは、従来のsslは、未知のカテゴリのインスタンスがターゲットの分類器に有害な侵入によって深刻なパフォーマンス上のダメージを受ける。 本研究では,厳密な数学的推論により,クラス分布ミスマッチの下でのSSLエラーは擬似ラベル誤りと侵入エラーから成り,どちらもSSL集団のリスクを束縛していることを明らかにした。 SSLの誤りを軽減するために、重み付けにより、教師なしのコントラッシブ表現からターゲット分類器へ、目的タスクに有益な知識を選択的に転送する、Weight-Aware Distillation (WAD)と呼ばれる堅牢なSSLフレームワークを提案する。 具体的には、適応重みと高品質な擬似ラベルを、表現空間内のポイント相互情報(PMI)を探索して、未ラベルデータの役割を最大化し、未知のカテゴリをフィルタリングすることで、ターゲットインスタンスに取得する。 理論的には、wadは集団分布のミスマッチ下で人口リスクの強い上限を持つことを証明している。 実験的に、WADは最先端のSSLアプローチ5つと、CIFAR10とCIFAR100という2つのベンチマークデータセットの標準ベースライン1つを上回り、人工的なクロスデータセットを達成している。 コードはhttps://github.com/RUC-DWBI-ML/research/tree/main/WAD-masterで公開されている。

関連論文リスト

• OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning [4.462726364160216]
  半教師付き学習(SSL)は、注釈のないデータの可能性を活用するための堅牢なフレームワークを提供する。 オープンワールドSSL(OwSSL)の出現は、ラベルのないデータが目に見えないクラスのサンプルを包含する、より実践的な課題をもたらす。 我々は,条件付き自己ラベルとオープンワールド階層しきい値を組み合わせたOwMatchという効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T06:07:43Z)
• Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario [14.916971861796384]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方を利用して、モデルのパフォーマンスを向上させるフレームワークである。 既存のSSLメソッドを拡張し、特定のクラスが欠落している状況に対処するための一般的なアプローチを提案する。 実験の結果,最先端のSSL,オープンセットのSSL,オープンワールドのSSLメソッドと比較して,精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-27T14:25:07Z)
• Universal Semi-Supervised Learning for Medical Image Classification [21.781201758182135]
  セミ教師付き学習(SSL)は、適切なラベル付きトレーニングデータを収集するコストを削減できるため、多くの注目を集めている。 従来のSSLは、ラベル付きデータとラベルなしデータが同じディストリビューションのものであるべきだという仮定に基づいて構築されている。 本研究では,未表示のラベル付きデータを利用した半教師付き医療画像分類のための統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-08T16:12:36Z)
• Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
  そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。 CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
  論文  参考訳（メタデータ） (2022-07-22T00:15:02Z)
• Towards Realistic Semi-Supervised Learning [73.59557447798134]
  オープンワールド環境でSSLに取り組み、未知のクラスと未知のクラスを同時に分類する新しい手法を提案する。 我々のアプローチは、既存の最先端の7つのデータセットよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-07-05T19:04:43Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
  Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。 提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
  論文  参考訳（メタデータ） (2022-06-29T22:01:29Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。