論文の概要: FATE: A Prompt-Tuning-Based Semi-Supervised Learning Framework for Extremely Limited Labeled Data

• arxiv url: http://arxiv.org/abs/2504.09828v1
• Date: Mon, 14 Apr 2025 02:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:04.350790
• Title: FATE: A Prompt-Tuning-Based Semi-Supervised Learning Framework for Extremely Limited Labeled Data
• Title（参考訳）: FATE: 極端に限定されたラベル付きデータのためのプロンプトチューニングに基づく半教師付き学習フレームワーク
• Authors: Hezhao Liu, Yang Lu, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Chen Gong, Hanzi Wang,
• Abstract要約: ラベル付きデータとラベルなしデータの両方を活用することで、半教師付き学習(SSL)は大きな進歩を遂げた。 我々は,ラベル付きデータに極めて制限のあるシナリオに適した新しいSSLフレームワークであるFirstly Adapt, Then catEgorize (FATE)を提案する。 FATEはラベルのないデータを利用して監視信号の不足を補い、下流のタスクに転送する。
• 参考スコア（独自算出の注目度）: 36.21759320898034
• License:
• Abstract: Semi-supervised learning (SSL) has achieved significant progress by leveraging both labeled data and unlabeled data. Existing SSL methods overlook a common real-world scenario when labeled data is extremely scarce, potentially as limited as a single labeled sample in the dataset. General SSL approaches struggle to train effectively from scratch under such constraints, while methods utilizing pre-trained models often fail to find an optimal balance between leveraging limited labeled data and abundant unlabeled data. To address this challenge, we propose Firstly Adapt, Then catEgorize (FATE), a novel SSL framework tailored for scenarios with extremely limited labeled data. At its core, the two-stage prompt tuning paradigm FATE exploits unlabeled data to compensate for scarce supervision signals, then transfers to downstream tasks. Concretely, FATE first adapts a pre-trained model to the feature distribution of downstream data using volumes of unlabeled samples in an unsupervised manner. It then applies an SSL method specifically designed for pre-trained models to complete the final classification task. FATE is designed to be compatible with both vision and vision-language pre-trained models. Extensive experiments demonstrate that FATE effectively mitigates challenges arising from the scarcity of labeled samples in SSL, achieving an average performance improvement of 33.74% across seven benchmarks compared to state-of-the-art SSL methods. Code is available at https://anonymous.4open.science/r/Semi-supervised-learning-BA72.
• Abstract（参考訳）: ラベル付きデータとラベルなしデータの両方を活用することで、半教師付き学習(SSL)は大きな進歩を遂げた。 既存のSSLメソッドは、ラベル付きデータが極めて少ない場合、データセット内の単一のラベル付きサンプルとして制限される場合、一般的な現実シナリオを見落としている。 一般的なSSLアプローチは、そのような制約の下でスクラッチから効果的にトレーニングするのに苦労するが、事前トレーニングされたモデルを使用するメソッドは、制限されたラベル付きデータと豊富なラベル付きデータとの最適なバランスを見つけることができないことが多い。 この課題に対処するために、非常に限られたラベル付きデータを持つシナリオに適した新しいSSLフレームワークであるFirstly Adapt, Then catEgorize (FATE)を提案する。 中心となる2段階のプロンプトチューニングパラダイムであるFATEは、ラベルのないデータを利用して監視信号の不足を補い、下流のタスクに転送する。 具体的には、FATEはまず、教師なしの方法でラベルなしサンプルのボリュームを使用して、下流データの特徴分布に事前訓練されたモデルを適用する。 次に、トレーニング済みモデル用に特別に設計されたSSLメソッドを適用して、最終分類タスクを完了させる。 FATEは、ビジョンとビジョン言語で事前訓練されたモデルの両方と互換性があるように設計されている。 大規模な実験により、FATEはSSLのラベル付きサンプルの不足に起因する課題を効果的に軽減し、7つのベンチマークで平均33.74%の性能向上を達成した。 コードはhttps://anonymous.4open.science/r/Semi-supervised-learning-BA72で公開されている。

関連論文リスト

• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario [14.916971861796384]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方を利用して、モデルのパフォーマンスを向上させるフレームワークである。 既存のSSLメソッドを拡張し、特定のクラスが欠落している状況に対処するための一般的なアプローチを提案する。 実験の結果,最先端のSSL,オープンセットのSSL,オープンワールドのSSLメソッドと比較して,精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-27T14:25:07Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。 本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。 実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
  論文  参考訳（メタデータ） (2022-05-21T11:52:08Z)
• Revisiting Pretraining for Semi-Supervised Learning in the Low-Label Regime [15.863530936691157]
  半教師付き学習(SSL)は、擬似ラベル付けによって大きなラベル付きデータを活用することでラベル付きデータの欠如に対処する。 近年の研究では、訓練済み重量の微調整(FT)をSSLと組み合わせて課題を緩和し、低ラベル体制においてより優れた結果を主張している。
  論文  参考訳（メタデータ） (2022-05-06T03:53:25Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• BiSTF: Bilateral-Branch Self-Training Framework for Semi-Supervised Large-scale Fine-Grained Recognition [28.06659482245647]
  半教師付きファイングラインド認識は、データ不均衡、高いクラス間類似性、ドメインミスマッチによる課題である。 本稿では,バイラテラルブランチ・セルフトレーニング・フレームワーク (Bilateral-Branch Self-Training Framework, BiSTF) を提案する。 BiSTFはSemi-iNatデータセット上で既存の最先端SSLよりも優れています。
  論文  参考訳（メタデータ） (2021-07-14T15:28:54Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。