論文の概要: TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification
- arxiv url: http://arxiv.org/abs/2003.06670v1
- Date: Sat, 14 Mar 2020 16:59:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 20:31:43.115028
- Title: TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification
- Title(参考訳): tafssl: 少数ショット分類のためのタスク適応型サブスペース学習
- Authors: Moshe Lichtenstein and Prasanna Sattigeri and Rogerio Feris and Raja
Giryes and Leonid Karlinsky
- Abstract要約: 本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
- 参考スコア(独自算出の注目度): 50.358839666165764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of Few-Shot Learning (FSL), or learning from very few (typically
$1$ or $5$) examples per novel class (unseen during training), has received a
lot of attention and significant performance advances in the recent literature.
While number of techniques have been proposed for FSL, several factors have
emerged as most important for FSL performance, awarding SOTA even to the
simplest of techniques. These are: the backbone architecture (bigger is
better), type of pre-training on the base classes (meta-training vs regular
multi-class, currently regular wins), quantity and diversity of the base
classes set (the more the merrier, resulting in richer and better adaptive
features), and the use of self-supervised tasks during pre-training (serving as
a proxy for increasing the diversity of the base set). In this paper we propose
yet another simple technique that is important for the few shot learning
performance - a search for a compact feature sub-space that is discriminative
for a given few-shot test task. We show that the Task-Adaptive Feature
Sub-Space Learning (TAFSSL) can significantly boost the performance in FSL
scenarios when some additional unlabeled data accompanies the novel few-shot
task, be it either the set of unlabeled queries (transductive FSL) or some
additional set of unlabeled data samples (semi-supervised FSL). Specifically,
we show that on the challenging miniImageNet and tieredImageNet benchmarks,
TAFSSL can improve the current state-of-the-art in both transductive and
semi-supervised FSL settings by more than $5\%$, while increasing the benefit
of using unlabeled data in FSL to above $10\%$ performance gain.
- Abstract(参考訳): FSL(Few-Shot Learning)の分野や、ごく少数(通常1ドルまたは5ドル)の例から学ぶこと(トレーニング中に見えなくなる)は、近年の文献で多くの注目を集め、大きなパフォーマンス向上を遂げている。
FSLには多くの技術が提案されているが、FSLのパフォーマンスにおいて最も重要な要因がいくつか現れており、最も単純な技術であってもSOTAを付与している。
ベースクラスのバックボーンアーキテクチャ(より大きいのはよい)、ベースクラスの事前トレーニングのタイプ(メタトレーニングと通常のマルチクラス、現在の正規の勝利)、ベースクラスのセットの量と多様性(より豊かで適応性の高い特徴をもたらす)、事前トレーニング中の自己教師型タスクの使用(ベースセットの多様性を高めるプロキシとして機能する)である。
本稿では,与えられた少数ショットテストタスクに対して識別可能なコンパクトな機能サブスペースを探索する,少数ショット学習性能にとって重要な新たな簡易手法を提案する。
タスク適応型特徴部分空間学習(TAFSSL)は、ラベルなしデータの一部が新しい数ショットタスクに付随する場合や、ラベルなしクエリのセット(変換型FSL)やラベルなしデータサンプルのセット(半教師付きFSL)など、FSLシナリオのパフォーマンスを大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブと半教師付き両方の FSL 設定の最先端性を 5 % 以上改善できる一方で、FSL の未ラベルデータを使用するメリットを 10 % 以上のパフォーマンス向上に拡張できることを示す。
関連論文リスト
- FSL-Rectifier: Rectify Outliers in Few-Shot Learning via Test-Time Augmentation [0.1843404256219181]
FSL(Few-shot-learning)は通常、トレーニング中に目に見えないクラスに属する画像(クエリ)を識別するモデルを必要とする。
そこで本研究では,テストクラスサンプルと適切な列車クラスサンプルを組み合わせることで,テストクラスサンプルを新たに生成する。
提案手法の有効性を実験的に理論的に実証し,約4%の精度向上を実現した。
論文 参考訳(メタデータ) (2024-02-28T12:37:30Z) - Instance-based Max-margin for Practical Few-shot Recognition [32.26577845735846]
IbM2は、数ショット学習のための新しいインスタンスベースのマックスマージン法である。
本稿では,IbM2がベースライン法に比べてほぼ常に改善されていることを示す。
論文 参考訳(メタデータ) (2023-05-27T04:55:13Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-01-06T08:42:05Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for
Few-Shot Learning [125.98370880855579]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳(メタデータ) (2022-07-14T10:53:53Z) - Pushing the Limits of Simple Pipelines for Few-Shot Learning: External
Data and Fine-Tuning Make a Difference [74.80730361332711]
コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。
単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
論文 参考訳(メタデータ) (2022-04-15T02:55:58Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳(メタデータ) (2022-03-17T02:38:49Z) - A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [35.035361304569186]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。
本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文 参考訳(メタデータ) (2021-10-21T13:25:52Z) - The Role of Global Labels in Few-Shot Classification and How to Infer
Them [55.64429518100676]
メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。
本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
論文 参考訳(メタデータ) (2021-08-09T14:07:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。