論文の概要: Are Fewer Labels Possible for Few-shot Learning?

• arxiv url: http://arxiv.org/abs/2012.05899v1
• Date: Thu, 10 Dec 2020 18:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 06:33:55.649108
• Title: Are Fewer Labels Possible for Few-shot Learning?
• Title（参考訳）: ボディーショット学習のラベルは少ないか?
• Authors: Suichan Li and Dongdong Chen and Yinpeng Chen and Lu Yuan and Lei Zhang and Qi Chu and Nenghai Yu
• Abstract要約: ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
• 参考スコア（独自算出の注目度）: 81.89996465197392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning is challenging due to its very limited data and labels. Recent studies in big transfer (BiT) show that few-shot learning can greatly benefit from pretraining on large scale labeled dataset in a different domain. This paper asks a more challenging question: "can we use as few as possible labels for few-shot learning in both pretraining (with no labels) and fine-tuning (with fewer labels)?". Our key insight is that the clustering of target samples in the feature space is all we need for few-shot finetuning. It explains why the vanilla unsupervised pretraining (poor clustering) is worse than the supervised one. In this paper, we propose transductive unsupervised pretraining that achieves a better clustering by involving target data even though its amount is very limited. The improved clustering result is of great value for identifying the most representative samples ("eigen-samples") for users to label, and in return, continued finetuning with the labeled eigen-samples further improves the clustering. Thus, we propose eigen-finetuning to enable fewer shot learning by leveraging the co-evolution of clustering and eigen-samples in the finetuning. We conduct experiments on 10 different few-shot target datasets, and our average few-shot performance outperforms both vanilla inductive unsupervised transfer and supervised transfer by a large margin. For instance, when each target category only has 10 labeled samples, the mean accuracy gain over the above two baselines is 9.2% and 3.42 respectively.
• Abstract（参考訳）: ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 ラベルのない)プレトレーニングと(ラベルが少ない)微調整の両方で、可能な限り少数のショット学習にラベルを使用できるか? 私たちのキーとなる洞察は、機能領域におけるターゲットサンプルのクラスタリングが、数ショットの微調整に必要なすべてであるということです。 これは、バニラが教師なしのプリトレイン(poor clustering)が教師なしのプリトレインより悪い理由を説明する。 本稿では,その量が非常に限られているにもかかわらず,ターゲットデータを含むことにより,より優れたクラスタリングを実現するトランスダクティブな教師なし事前学習を提案する。 改良されたクラスタリングの結果は、ユーザがラベル付けする最も代表的なサンプル(固有サンプル)を特定する上で大きな価値があり、代わりにラベル付き固有サンプルとの微調整がさらに改善される。 そこで本研究では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。 我々は10の異なる少数ショットのターゲットデータセットで実験を行い、平均的な少数ショットのパフォーマンスはバニラインダクティブな非教師付き転送と教師付き転送の両方を大きなマージンで上回っている。 例えば、各対象カテゴリが10個のラベル付きサンプルしか持たない場合、上記の2つのベースラインの平均精度は、それぞれ9.2%と3.42である。

関連論文リスト

• Liberating Seen Classes: Boosting Few-Shot and Zero-Shot Text Classification via Anchor Generation and Classification Reframing [38.84431954053434]
  短いショットとゼロショットのテキスト分類は、ラベル付きサンプルやラベル付きサンプルが全くない新しいクラスからのサンプルを認識することを目的としている。 少数ショットとゼロショットのテキスト分類のためのシンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-06T15:38:32Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Improve Unsupervised Pretraining for Few-label Transfer [80.58625921631506]
  本稿では,対象データセットに微調整用のラベル付きサンプルがほとんどない場合,この結論は成立しない可能性がある。 実アプリケーションのための新しいプログレッシブな数ラベル転送アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-26T17:59:56Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering [10.033658645311188]
  学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。 本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
  論文  参考訳（メタデータ） (2020-12-01T14:19:14Z)
• Shot in the Dark: Few-Shot Learning with No Base-Class Labels [32.96824710484196]
  市販の自己教師型学習は,MiniImageNet上での5ショット精度において,トランスダクティブな数ショット法を3.9%向上させることを示した。 このことは、数発の学習において、自己監督を通じて学んだ機能の役割をより慎重に調べる動機となります。
  論文  参考訳（メタデータ） (2020-10-06T02:05:27Z)
• Few-Shot Learning with Intra-Class Knowledge Transfer [100.87659529592223]
  アンバランスなデータセットを用いた数発の分類タスクについて検討する。 近年の研究では、生成モデルを用いて数発の授業のトレーニングデータを増やすことで、この課題を解決することが提案されている。 本稿では,近隣クラスが類似した統計情報を共有するという直感で,近隣クラスからのクラス内知識を活用することを提案する。
  論文  参考訳（メタデータ） (2020-08-22T18:15:38Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Instance Credibility Inference for Few-Shot Learning [45.577880041135785]
  ほとんどショットラーニングは、カテゴリごとに非常に限られたトレーニングデータを持つ新しいオブジェクトを認識することを目的としていない。 本稿では,未ラベルのインスタンスの分散サポートを数発の学習に活用するために,ICI (Instance Credibility Inference) と呼ばれる単純な統計手法を提案する。 我々の単純なアプローチは、広く使われている4つのショットラーニングベンチマークデータセットに基づいて、最先端の新たなデータセットを確立することができる。
  論文  参考訳（メタデータ） (2020-03-26T12:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。