論文の概要: Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2207.06817v1
• Date: Thu, 14 Jul 2022 10:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 14:21:28.387006
• Title: Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning
• Title（参考訳）: 擬似ラベルを用いた半教師付きメタトレーニング
• Authors: Xingping Dong, Ling Shao, Shengcai Liao
• Abstract要約: そこで本研究では,真のラベル付きデータを用いた半教師付きメタトレーニング環境を提案する。 新しい設定では、既存のメソッドのパフォーマンスが顕著に低下する。 この単純なメタトレーニングフレームワークは,限られたラベル付きデータの下でのFSLの性能劣化を効果的に防止する。
• 参考スコア（独自算出の注目度）: 114.30666822861934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most existing few-shot learning (FSL) methods require a large amount of labeled data in meta-training, which is a major limit. To reduce the requirement of labels, a semi-supervised meta-training setting has been proposed for FSL, which includes only a few labeled samples and numbers of unlabeled samples in base classes. However, existing methods under this setting require class-aware sample selection from the unlabeled set, which violates the assumption of unlabeled set. In this paper, we propose a practical semi-supervised meta-training setting with truly unlabeled data. Under the new setting, the performance of existing methods drops notably. To better utilize both the labeled and truly unlabeled data, we propose a simple and effective meta-training framework, called pseudo-labeling based on meta-learning (PLML). Firstly, we train a classifier via common semi-supervised learning (SSL) and use it to obtain the pseudo-labels of unlabeled data. Then we build few-shot tasks from labeled and pseudo-labeled data and run meta-learning over the constructed tasks to learn the FSL model. Surprisingly, through extensive experiments across two FSL datasets, we find that this simple meta-training framework effectively prevents the performance degradation of FSL under limited labeled data. Besides, benefiting from meta-training, the proposed method improves the classifiers learned by two representative SSL algorithms as well.
• Abstract（参考訳）: 既存の少数ショット学習(FSL)手法の多くは、メタトレーニングにおいて大量のラベル付きデータを必要とする。 ラベルの要件を軽減するため,FSL では,少数のラベル付きサンプルと未ラベル付きサンプル数を含む半教師付きメタトレーニング設定が提案されている。 しかし、既存の手法では、未ラベル集合の仮定に反する未ラベル集合からのクラス対応サンプル選択が必要となる。 本稿では,実際にラベルのないデータを用いた半教師付きメタトレーニング環境を提案する。 新しい設定では、既存のメソッドのパフォーマンスが顕著に低下する。 ラベル付きデータと真にラベル付きデータの両方をより有効に利用するために、我々は、メタ学習に基づく擬似ラベル付け(plml)と呼ばれる、シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、共通半教師付き学習(ssl)を通じて分類器を訓練し、ラベルなしデータの擬似ラベルを取得する。 次にラベル付きおよび擬似ラベル付きデータから数発のタスクを構築し、構築したタスク上でメタ学習を行い、FSLモデルを学習する。 驚くべきことに、2つのFSLデータセットにわたる広範な実験により、この単純なメタトレーニングフレームワークは、限られたラベル付きデータの下でのFSLの性能劣化を効果的に防止する。 さらに、メタトレーニングの利点により、提案手法は2つの代表的なSSLアルゴリズムによって学習された分類器も改善する。

関連論文リスト

• Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization [12.582774521907227]
  半教師付き学習(SSL)は、ラベル付きデータが不足し、ラベルなしデータが豊富であるシナリオで広く使われているテクニックである。 標準SSLメソッドは、まず分類モデルをトレーニングし、次に分類器の信頼性値を使用して擬似ラベルを選択するために教師-学生パラダイムに従う。 より正確な擬似ラベルでラベルなしのサンプルを抽出するLLMを用いたプロンプトベースの擬似ラベル方式を提案する。
  論文  参考訳（メタデータ） (2023-11-16T04:29:41Z)
• Generative Semi-supervised Learning with Meta-Optimized Synthetic Samples [5.384630221560811]
  半教師付き学習(SSL)はラベル付きデータセットとラベルなしデータセットを使用して、深い分類モデルをトレーニングするための有望なアプローチである。 本稿では,SSLモデルをラベルなしのデータセットなしでトレーニングすることは可能か,という研究課題について検討する。 多様な領域に数百万のサンプルを含むデータセットに基づいて学習した生成基盤モデルから生成された合成データセットを用いたSSL手法を提案する。
  論文  参考訳（メタデータ） (2023-09-28T03:47:26Z)
• DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision [16.757456364034798]
  半教師付き学習(SSL)はますます人気が高まっている。 擬似ラベル手法と自己教師付き損失を組み合わせた新しいSSLアルゴリズムであるDoubleMatchを提案する。 本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-05-11T15:43:48Z)
• DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples [32.804647684320216]
  半教師付き学習(SSL)は、擬似ラベルによるラベルなしデータを活用するための有望な方法を提供する。 ラベル付きデータのサイズが非常に小さい場合、SSLは、おそらく学習済みの擬似ラベルの品質が低いため、貧弱かつ不安定に動作します。 本稿では,未ラベルデータに対する確率ラベルを生成するために,革新的なデータプログラミング方式を採用するDP-SSLを提案する。
  論文  参考訳（メタデータ） (2021-10-26T14:43:12Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。