Fugu-MT 論文翻訳(概要): Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning

論文の概要: Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning

arxiv url: http://arxiv.org/abs/2207.06817v3
Date: Sun, 15 Sep 2024 02:57:43 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 06:00:45.219636
Title: Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning
Title（参考訳）: Few-Shot Learningのための擬似ラベルに基づく半教師付きメタトレーニング
Authors: Xingping Dong, Tianran Ouyang, Shengcai Liao, Bo Du, Ling Shao,
Abstract要約: 擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
参考スコア（独自算出の注目度）: 93.63638405586354
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Most existing few-shot learning (FSL) methods require a large amount of labeled data in meta-training, which is a major limit. To reduce the requirement of labels, a semi-supervised meta-training (SSMT) setting has been proposed for FSL, which includes only a few labeled samples and numbers of unlabeled samples in base classes. However, existing methods under this setting require class-aware sample selection from the unlabeled set, which violates the assumption of unlabeled set. In this paper, we propose a practical semi-supervised meta-training setting with truly unlabeled data to facilitate the applications of FSL in realistic scenarios. To better utilize both the labeled and truly unlabeled data, we propose a simple and effective meta-training framework, called pseudo-labeling based meta-learning (PLML). Firstly, we train a classifier via common semi-supervised learning (SSL) and use it to obtain the pseudo-labels of unlabeled data. Then we build few-shot tasks from labeled and pseudo-labeled data and design a novel finetuning method with feature smoothing and noise suppression to better learn the FSL model from noise labels. Surprisingly, through extensive experiments across two FSL datasets, we find that this simple meta-training framework effectively prevents the performance degradation of various FSL models under limited labeled data, and also significantly outperforms the state-of-the-art SSMT models. Besides, benefiting from meta-training, our method also improves two representative SSL algorithms as well.
Abstract（参考訳）: 既存の少数ショット学習(FSL)手法の多くは、メタトレーニングにおいて大量のラベル付きデータを必要とするが、これは大きな限界である。ラベルの要件を軽減するため, FSL では,少数のラベル付きサンプルと未ラベル付きサンプル数を含む半教師付きメタトレーニング (SSMT) 設定が提案されている。しかし、既存の手法では、未ラベル集合の仮定に反する未ラベル集合からのクラスを意識したサンプル選択が必要となる。本稿では,実シナリオにおけるFSLの適用を促進するために,実際にラベルのないデータを用いた半教師付きメタトレーニング環境を提案する。ラベル付きデータと真にラベル付けされていないデータの両方をよりよく活用するために,擬似ラベル付きメタラーニング(PLML)と呼ばれる,シンプルで効果的なメタトレーニングフレームワークを提案する。まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。次に,ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し,ノイズラベルからFSLモデルをよりよく学習するための特徴平滑化とノイズ抑圧を備えた新しいファインタニング手法を設計する。驚くべきことに、2つのFSLデータセットにわたる広範な実験により、この単純なメタトレーニングフレームワークは、制限付きラベル付きデータの下での様々なFSLモデルの性能劣化を効果的に防止し、また最先端のSSMTモデルよりも大幅に優れていることがわかった。さらに,メタトレーニングの恩恵を受けながら,提案手法は2つの代表的なSSLアルゴリズムも改善する。

関連論文リスト

Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization [12.582774521907227]
半教師付き学習(SSL)は、ラベル付きデータが不足し、ラベルなしデータが豊富であるシナリオで広く使われているテクニックである。標準SSLメソッドは、まず分類モデルをトレーニングし、次に分類器の信頼性値を使用して擬似ラベルを選択するために教師-学生パラダイムに従う。より正確な擬似ラベルでラベルなしのサンプルを抽出するLLMを用いたプロンプトベースの擬似ラベル方式を提案する。
論文参考訳（メタデータ） (2023-11-16T04:29:41Z)
Generative Semi-supervised Learning with Meta-Optimized Synthetic Samples [5.384630221560811]
半教師付き学習(SSL)はラベル付きデータセットとラベルなしデータセットを使用して、深い分類モデルをトレーニングするための有望なアプローチである。本稿では,SSLモデルをラベルなしのデータセットなしでトレーニングすることは可能か,という研究課題について検討する。多様な領域に数百万のサンプルを含むデータセットに基づいて学習した生成基盤モデルから生成された合成データセットを用いたSSL手法を提案する。
論文参考訳（メタデータ） (2023-09-28T03:47:26Z)
DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision [16.757456364034798]
半教師付き学習(SSL)はますます人気が高まっている。擬似ラベル手法と自己教師付き損失を組み合わせた新しいSSLアルゴリズムであるDoubleMatchを提案する。本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。
論文参考訳（メタデータ） (2022-05-11T15:43:48Z)
DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples [32.804647684320216]
半教師付き学習(SSL)は、擬似ラベルによるラベルなしデータを活用するための有望な方法を提供する。ラベル付きデータのサイズが非常に小さい場合、SSLは、おそらく学習済みの擬似ラベルの品質が低いため、貧弱かつ不安定に動作します。本稿では,未ラベルデータに対する確率ラベルを生成するために,革新的なデータプログラミング方式を採用するDP-SSLを提案する。
論文参考訳（メタデータ） (2021-10-26T14:43:12Z)
A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文参考訳（メタデータ） (2021-10-21T13:25:52Z)
Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文参考訳（メタデータ） (2021-09-01T23:52:29Z)
The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
論文参考訳（メタデータ） (2021-08-09T14:07:46Z)
Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文参考訳（メタデータ） (2021-02-25T14:56:19Z)
TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。