論文の概要: tSF: Transformer-based Semantic Filter for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2211.00868v2
• Date: Wed, 17 Jul 2024 03:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 00:00:34.661096
• Title: tSF: Transformer-based Semantic Filter for Few-Shot Learning
• Title（参考訳）: tSF:Few-Shot Learningのためのトランスフォーマーベースセマンティックフィルタ
• Authors: Jinxiang Lai, Siqian Yang, Wenlong Liu, Yi Zeng, Zhongyi Huang, Wenlong Wu, Jun Liu, Bin-Bin Gao, Chengjie Wang,
• Abstract要約: FSL(Few-Shot Learning)は、ターゲット認識機能を埋め込むことによって、データ不足の問題を緩和する。 最近のFSL手法におけるほとんどの機能埋め込みモジュールは、対応する学習タスクのために特別に設計されている。 変圧器ベースセマンティックフィルタ (tSF) という軽量で普遍的なモジュールを提案する。 tSFは、ベースセット全体から新しいセットに知識を埋め込むとともに、ターゲットカテゴリのセマンティック機能をフィルタリングする。
• 参考スコア（独自算出の注目度）: 34.24179994607278
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Few-Shot Learning (FSL) alleviates the data shortage challenge via embedding discriminative target-aware features among plenty seen (base) and few unseen (novel) labeled samples. Most feature embedding modules in recent FSL methods are specially designed for corresponding learning tasks (e.g., classification, segmentation, and object detection), which limits the utility of embedding features. To this end, we propose a light and universal module named transformer-based Semantic Filter (tSF), which can be applied for different FSL tasks. The proposed tSF redesigns the inputs of a transformer-based structure by a semantic filter, which not only embeds the knowledge from whole base set to novel set but also filters semantic features for target category. Furthermore, the parameters of tSF is equal to half of a standard transformer block (less than 1M). In the experiments, our tSF is able to boost the performances in different classic few-shot learning tasks (about 2% improvement), especially outperforms the state-of-the-arts on multiple benchmark datasets in few-shot classification task.
• Abstract（参考訳）: FSL(Few-Shot Learning)は、多くの(ベース)とほとんど見えない(ノーベル)ラベル付きサンプルの間で差別的ターゲット認識機能を組み込むことによって、データ不足の課題を軽減する。 最近のFSLメソッドのほとんどの機能埋め込みモジュールは、特定の学習タスク(例えば、分類、セグメンテーション、オブジェクト検出)のために特別に設計されている。 そこで本研究では,異なるFSLタスクに適用可能な,トランスフォーマーベースのセマンティックフィルタ (tSF) という軽量で普遍的なモジュールを提案する。 提案した tSF は,ベースセット全体の知識を新しいセットに埋め込むだけでなく,対象カテゴリのセマンティック特徴をフィルタするセマンティックフィルタにより,トランスフォーマベース構造の入力を再設計する。 さらに、tSFのパラメータは標準変圧器ブロック(1M未満)の半分に等しい。 実験では、tSFは様々な古典的な数ショットの学習タスク(約2%の改善)のパフォーマンスを向上させることができ、特に、数ショットの分類タスクにおいて、複数のベンチマークデータセットにおける最先端のパフォーマンスよりも優れています。

関連論文リスト

• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• Mask-guided BERT for Few Shot Text Classification [12.361032727044547]
  Mask-BERTは、BERTベースのアーキテクチャが数発の学習に対処するための、シンプルでモジュール化されたフレームワークである。 中心となる考え方は、テキスト入力にマスクを選択的に適用し、無関係な情報をフィルタリングすることであり、それはモデルを差別的トークンにフォーカスするよう誘導する。 パブリックドメインベンチマークデータセットの実験結果は、Mask-BERTの有効性を示す。
  論文  参考訳（メタデータ） (2023-02-21T05:24:00Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• MHFC: Multi-Head Feature Collaboration for Few-Shot Learning [17.699793591135904]
  少ないショットラーニングは、データスカース問題に対処することを目的としている。 本稿では,マルチヘッド特徴を統一空間に投影しようとするマルチヘッド特徴協調(MHFC)アルゴリズムを提案する。 提案手法を5つのベンチマークデータセットで評価し,最新技術と比較して2.1%-7.8%の大幅な改善を実現した。
  論文  参考訳（メタデータ） (2021-09-16T08:09:35Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。