論文の概要: Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective

• arxiv url: http://arxiv.org/abs/2512.10244v1
• Date: Thu, 11 Dec 2025 03:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.175498
• Title: Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective
• Title（参考訳）: 自動アノテーションの観点からの半教師付きFew-Shot学習の解法
• Authors: Tian Liu, Anwesha Basu, James Caverlee, Shu Kong,
• Abstract要約: 半教師付き少ショット学習式は「自動アノテーション」のような実世界の応用を規定する 本稿では,VLMの事前学習セットから取得したラベル付きデータ,豊富なラベル付きデータ,タスク関連だがノイズの多いデータに基づいて,既存のSSL手法でVLMを効果的に微調整できるSWIFTを提案する。
• 参考スコア（独自算出の注目度）: 27.35951269350466
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Semi-supervised few-shot learning (SSFSL) formulates real-world applications like ''auto-annotation'', as it aims to learn a model over a few labeled and abundant unlabeled examples to annotate the unlabeled ones. Despite the availability of powerful open-source Vision-Language Models (VLMs) and their pretraining data, the SSFSL literature largely neglects these open-source resources. In contrast, the related area few-shot learning (FSL) has already exploited them to boost performance. Arguably, to achieve auto-annotation in the real world, SSFSL should leverage such open-source resources. To this end, we start by applying established SSL methods to finetune a VLM. Counterintuitively, they significantly underperform FSL baselines. Our in-depth analysis reveals the root cause: VLMs produce rather ''flat'' distributions of softmax probabilities. This results in zero utilization of unlabeled data and weak supervision signals. We address this issue with embarrassingly simple techniques: classifier initialization and temperature tuning. They jointly increase the confidence scores of pseudo-labels, improving the utilization rate of unlabeled data, and strengthening supervision signals. Building on this, we propose: Stage-Wise Finetuning with Temperature Tuning (SWIFT), which enables existing SSL methods to effectively finetune a VLM on limited labeled data, abundant unlabeled data, and task-relevant but noisy data retrieved from the VLM's pretraining set. Extensive experiments on five SSFSL benchmarks show that SWIFT outperforms recent FSL and SSL methods by $\sim$5 accuracy points. SWIFT even rivals supervised learning, which finetunes VLMs with the unlabeled data being labeled with ground truth!
• Abstract（参考訳）: 半教師付き少ショットラーニング(SSFSL)は、ラベル付きでラベル付けされていないサンプルを多用したモデル学習を目標とし、'auto-annotation'のような現実世界のアプリケーションを定式化する。 強力なオープンソースのVision-Language Models(VLM)とその事前トレーニングデータが利用可能であるにもかかわらず、SFSLの文献はこれらのオープンソースリソースをほとんど無視している。 これとは対照的に、関連する領域である数ショット学習(FSL)では、すでにパフォーマンス向上に活用されている。 おそらく、現実世界で自動アノテーションを実現するためには、SSFSLはそのようなオープンソースリソースを活用するべきである。 この目的のために、確立されたSSLメソッドを適用してVLMを微調整することから始める。 反対に、FSLベースラインは著しく劣っている。 VLMはソフトマックス確率の「平坦」な分布を生成する。 これにより、ラベルのないデータと弱い監視信号がゼロになる。 この問題には、分類器の初期化と温度調整という、恥ずかしいほど単純な手法で対処する。 疑似ラベルの信頼性スコアを共同で増加させ、ラベルなしデータの利用率を改善し、監視信号を強化する。 そこで本研究では,VLMの事前学習セットから抽出したラベル付きデータ,豊富なラベル付きデータ,タスク関連だがノイズの多いデータに基づいて,既存のSSLメソッドでVLMを効果的に微調整できるステージワイズファインタニング(SWIFT)を提案する。 5つのSSFSLベンチマークの大規模な実験により、SWIFTは最近のFSLおよびSSLメソッドを$\sim$5の精度で上回っている。 SWIFTは教師付き学習にも対抗しています。

関連論文リスト

• Revisiting semi-supervised learning in the era of foundation models [35.44676829010657]
  半教師付き学習(SSL)は、ラベル付きデータとともに豊富なラベル付きデータを活用して学習を強化する。 我々は,凍結視覚基盤モデル(VFM)が性能的に劣るSSLベンチマークデータセットを開発し,代表的なSSLメソッドを体系的に評価する。 ラベル付きデータのみを用いたパラメータ効率細調整(PEFT)は、ラベルなしデータを活用することなく、SSLのパフォーマンスとよく一致します。 ノイズの多い擬似ラベルの悪名高い問題を克服するため,より堅牢な擬似ラベルを生成するために,複数のPEFTアプローチとVFMバックボーンのアンサンブルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T18:01:10Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。