論文の概要: Enhancing CLIP with CLIP: Exploring Pseudolabeling for Limited-Label Prompt Tuning

• arxiv url: http://arxiv.org/abs/2306.01669v1
• Date: Fri, 2 Jun 2023 16:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 14:12:43.805303
• Title: Enhancing CLIP with CLIP: Exploring Pseudolabeling for Limited-Label Prompt Tuning
• Title（参考訳）: クリップ付き強調クリップ:限定的プロンプトチューニングのための擬似ラベル探索
• Authors: Cristina Menghini, Andrew Delworth, Stephen H. Bach
• Abstract要約: 本稿では, 擬似ラベル, すなわちラベルなしデータのラベルを用いて, 即時チューニングによるCLIPの強化について検討する。 半教師付き, トランスダクティブゼロショット, 教師なし学習などの学習パラダイムは, すべて同じ損失関数を最適化すると見なすことができる。 1) 擬似ラベルを反復的に洗練する未探索のプロンプトチューニング手法は, 半品質学習では19.5ポイント, 帰納的ゼロショット学習では28.4ポイント, 教師なし学習では15.2ポイントの精度向上を実現している。
• 参考スコア（独自算出の注目度）: 10.103296457549085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning vision-language models (VLMs) like CLIP to downstream tasks is often necessary to optimize their performance. However, a major obstacle is the limited availability of labeled data. We study the use of pseudolabels, i.e., heuristic labels for unlabeled data, to enhance CLIP via prompt tuning. Conventional pseudolabeling trains a model on labeled data and then generates labels for unlabeled data. VLMs' zero-shot capabilities enable a ``second generation'' of pseudolabeling approaches that do not require task-specific training on labeled data. By using zero-shot pseudolabels as a source of supervision, we observe that learning paradigms such as semi-supervised, transductive zero-shot, and unsupervised learning can all be seen as optimizing the same loss function. This unified view enables the development of versatile training strategies that are applicable across learning paradigms. We investigate them on image classification tasks where CLIP exhibits limitations, by varying prompt modalities, e.g., textual or visual prompts, and learning paradigms. We find that (1) unexplored prompt tuning strategies that iteratively refine pseudolabels consistently improve CLIP accuracy, by 19.5 points in semi-supervised learning, by 28.4 points in transductive zero-shot learning, and by 15.2 points in unsupervised learning, and (2) unlike conventional semi-supervised pseudolabeling, which exacerbates model biases toward classes with higher-quality pseudolabels, prompt tuning leads to a more equitable distribution of per-class accuracy. The code to reproduce the experiments is at github.com/BatsResearch/menghini-enhanceCLIPwithCLIP-code.
• Abstract（参考訳）: CLIPのような微調整の視覚言語モデル(VLM)は、パフォーマンスを最適化するためにしばしば必要である。 しかし、大きな障害はラベル付きデータの可用性の制限である。 擬似ラベル,すなわちラベルのないデータに対するヒューリスティックラベルを用いて,即興チューニングによるクリップの強調を行った。 従来の擬似ラベル付けはラベル付きデータにモデルをトレーニングし、ラベルなしデータのラベルを生成する。 VLMのゼロショット機能は、ラベル付きデータに対するタスク固有のトレーニングを必要としない擬似ラベル付けアプローチの‘第2世代’を可能にする。 ゼロショット擬似ラベルを監督の源として使用することにより,半教師付き,トランスダクティブなゼロショット,非教師付き学習といった学習パラダイムを,すべて同じ損失関数の最適化と見なすことができる。 この統一された見解は、学習パラダイム全体に適用可能な多彩なトレーニング戦略の開発を可能にする。 我々は,CLIPが制限を示す画像分類タスクについて,テキストや視覚的プロンプト,学習パラダイムなど,迅速なモダリティの変化によって検討する。 その結果,(1) 擬似ラベルを反復的に洗練してCLIP精度を向上する未探索のプロンプトチューニング戦略,(2) 半教師付き学習では19.5ポイント, トランスダクティブゼロショット学習では28.4ポイント, 教師なし学習では15.2ポイント, そして(2) 高品質な擬似ラベルを持つクラスに対するモデルバイアスを悪化させる従来の半教師付き擬似ラベルとは異なり, 即時チューニングはより公平なクラス毎の精度分布をもたらすことがわかった。 実験を再現するコードはgithub.com/BatsResearch/menghini-enhanceCLIPwithCLIP-codeにある。

関連論文リスト

• Candidate Pseudolabel Learning: Enhancing Vision-Language Models by Prompt Tuning with Unlabeled Data [9.132277138594652]
  本研究では,未ラベルデータの多い視覚言語モデルに対して,Candidate Pseudolabel Learning法を提案する。 提案手法は,真のラベルインクルージョンとクラスバランスの取れたインスタンス選択において,性能が向上する可能性がある。
  論文  参考訳（メタデータ） (2024-06-15T04:50:20Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Learning with Partial Labels from Semi-supervised Perspective [28.735185883881172]
  部分ラベル学習(Partial Label、PL)とは、部分ラベル付きデータから学習するタスクである。 セミスーパーバイザード・パースペクティブ(PLSP)を用いた部分ラベル学習という新しいPL学習手法を提案する。 PLSPは、特に高いあいまいさレベルにおいて、既存のPLベースライン法よりも著しく優れている。
  論文  参考訳（メタデータ） (2022-11-24T15:12:16Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Iterative label cleaning for transductive and semi-supervised few-shot learning [16.627512688664513]
  少ないショットの学習は、新しいタスクが監督とデータの両方を限定して解決されるような、表現の学習と知識の獲得に相当します。 ラベル付きおよびラベルなしデータ分布の多様体構造を利用して擬似ラベルを予測するアルゴリズムを提案する。 私たちのソリューションは、4つのベンチマークデータセットのアート結果の状態を上回るか、一致します。
  論文  参考訳（メタデータ） (2020-12-14T21:54:11Z)
• Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering [10.033658645311188]
  学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。 本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
  論文  参考訳（メタデータ） (2020-12-01T14:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。