論文の概要: TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification

• arxiv url: http://arxiv.org/abs/2003.06670v1
• Date: Sat, 14 Mar 2020 16:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 20:31:43.115028
• Title: TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification
• Title（参考訳）: tafssl: 少数ショット分類のためのタスク適応型サブスペース学習
• Authors: Moshe Lichtenstein and Prasanna Sattigeri and Rogerio Feris and Raja Giryes and Leonid Karlinsky
• Abstract要約: 本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
• 参考スコア（独自算出の注目度）: 50.358839666165764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Few-Shot Learning (FSL), or learning from very few (typically $1$ or $5$) examples per novel class (unseen during training), has received a lot of attention and significant performance advances in the recent literature. While number of techniques have been proposed for FSL, several factors have emerged as most important for FSL performance, awarding SOTA even to the simplest of techniques. These are: the backbone architecture (bigger is better), type of pre-training on the base classes (meta-training vs regular multi-class, currently regular wins), quantity and diversity of the base classes set (the more the merrier, resulting in richer and better adaptive features), and the use of self-supervised tasks during pre-training (serving as a proxy for increasing the diversity of the base set). In this paper we propose yet another simple technique that is important for the few shot learning performance - a search for a compact feature sub-space that is discriminative for a given few-shot test task. We show that the Task-Adaptive Feature Sub-Space Learning (TAFSSL) can significantly boost the performance in FSL scenarios when some additional unlabeled data accompanies the novel few-shot task, be it either the set of unlabeled queries (transductive FSL) or some additional set of unlabeled data samples (semi-supervised FSL). Specifically, we show that on the challenging miniImageNet and tieredImageNet benchmarks, TAFSSL can improve the current state-of-the-art in both transductive and semi-supervised FSL settings by more than $5\%$, while increasing the benefit of using unlabeled data in FSL to above $10\%$ performance gain.
• Abstract（参考訳）: FSL(Few-Shot Learning)の分野や、ごく少数(通常1ドルまたは5ドル)の例から学ぶこと(トレーニング中に見えなくなる)は、近年の文献で多くの注目を集め、大きなパフォーマンス向上を遂げている。 FSLには多くの技術が提案されているが、FSLのパフォーマンスにおいて最も重要な要因がいくつか現れており、最も単純な技術であってもSOTAを付与している。 ベースクラスのバックボーンアーキテクチャ(より大きいのはよい)、ベースクラスの事前トレーニングのタイプ(メタトレーニングと通常のマルチクラス、現在の正規の勝利)、ベースクラスのセットの量と多様性(より豊かで適応性の高い特徴をもたらす)、事前トレーニング中の自己教師型タスクの使用(ベースセットの多様性を高めるプロキシとして機能する)である。 本稿では,与えられた少数ショットテストタスクに対して識別可能なコンパクトな機能サブスペースを探索する,少数ショット学習性能にとって重要な新たな簡易手法を提案する。 タスク適応型特徴部分空間学習(TAFSSL)は、ラベルなしデータの一部が新しい数ショットタスクに付随する場合や、ラベルなしクエリのセット(変換型FSL)やラベルなしデータサンプルのセット(半教師付きFSL)など、FSLシナリオのパフォーマンスを大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブと半教師付き両方の FSL 設定の最先端性を 5 % 以上改善できる一方で、FSL の未ラベルデータを使用するメリットを 10 % 以上のパフォーマンス向上に拡張できることを示す。

関連論文リスト

• Instance-based Max-margin for Practical Few-shot Recognition [32.26577845735846]
  IbM2は、数ショット学習のための新しいインスタンスベースのマックスマージン法である。 本稿では,IbM2がベースライン法に比べてほぼ常に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-05-27T04:55:13Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference [74.80730361332711]
  コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:55:58Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• Bridging Few-Shot Learning and Adaptation: New Challenges of Support-Query Shift [4.374837991804085]
  わずかなラベル付きデータで新しい概念を学習するアルゴリズムはほとんどない。 テスト時に遭遇した新しいクラスからクエリインスタンスを分類するには、いくつかのラベル付きサンプルからなるサポートセットが必要である。 現実的なセットティングでは、データ分散は、少なくとも変化の対象であり、分散シフト(DS)と呼ばれる状況である。
  論文  参考訳（メタデータ） (2021-05-25T10:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。