論文の概要: Candidate Pseudolabel Learning: Enhancing Vision-Language Models by Prompt Tuning with Unlabeled Data

• arxiv url: http://arxiv.org/abs/2406.10502v1
• Date: Sat, 15 Jun 2024 04:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:12:44.297859
• Title: Candidate Pseudolabel Learning: Enhancing Vision-Language Models by Prompt Tuning with Unlabeled Data
• Title（参考訳）: Candidate Pseudolabel Learning: ラベルなしデータによるプロンプトチューニングによるビジョンランゲージモデルの強化
• Authors: Jiahan Zhang, Qi Wei, Feng Liu, Lei Feng,
• Abstract要約: 本研究では,未ラベルデータの多い視覚言語モデルに対して,Candidate Pseudolabel Learning法を提案する。 提案手法は,真のラベルインクルージョンとクラスバランスの取れたインスタンス選択において,性能が向上する可能性がある。
• 参考スコア（独自算出の注目度）: 9.132277138594652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning vision-language models (VLMs) with abundant unlabeled data recently has attracted increasing attention. Existing methods that resort to the pseudolabeling strategy would suffer from heavily incorrect hard pseudolabels when VLMs exhibit low zero-shot performance in downstream tasks. To alleviate this issue, we propose a Candidate Pseudolabel Learning method, termed CPL, to fine-tune VLMs with suitable candidate pseudolabels of unlabeled data in downstream tasks. The core of our method lies in the generation strategy of candidate pseudolabels, which progressively generates refined candidate pseudolabels by both intra- and inter-instance label selection, based on a confidence score matrix for all unlabeled data. This strategy can result in better performance in true label inclusion and class-balanced instance selection. In this way, we can directly apply existing loss functions to learn with generated candidate psueudolabels. Extensive experiments on nine benchmark datasets with three learning paradigms demonstrate the effectiveness of our method. Our code can be found at https://github.com/vanillaer/CPL-ICML2024.
• Abstract（参考訳）: 近年,ラベルなしデータの多い微調整型視覚言語モデル (VLM) が注目されている。 擬似ラベル方式を利用する既存の方法は、VLMが下流タスクでゼロショット性能が低い場合に、非常に誤ったハードな擬似ラベルに悩まされる。 この問題を軽減するために,CPLと呼ばれるCandidate Pseudolabel Learning法を提案する。 提案手法のコアは疑似ラベルの生成戦略にあり, 未ラベルデータに対する信頼スコア行列に基づいて, イントラ・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・イン・インター・イン・イントラスト・イン・イン・イン・イン・イン この戦略は、真のラベルインクルージョンとクラスバランスのインスタンス選択におけるより良いパフォーマンスをもたらす可能性がある。 このようにして、既存の損失関数を直接適用して、生成された候補 psueudolabel で学習することができる。 3つの学習パラダイムを持つ9つのベンチマークデータセットの大規模な実験により,本手法の有効性が示された。 私たちのコードはhttps://github.com/vanillaer/CPL-ICML2024で確認できます。

関連論文リスト

• Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning [41.345794038968776]
  本稿では,誤り候補ラベルの影響を軽減するために,リダクションに基づく擬似ラベルを活用することを提案する。 推定モデルから生成した擬似ラベルと比較して,減算に基づく擬似ラベルはベイズ最適分類器との整合性が高いことを示す。
  論文  参考訳（メタデータ） (2024-10-28T07:32:20Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• You can't handle the (dirty) truth: Data-centric insights improve pseudo-labeling [60.27812493442062]
  擬似ラベル法を改善するためにラベル付きデータ品質を調査することが重要であることを示す。 具体的には、擬似ラベルの拡張のために、DIPSと呼ばれる新しいデータキャラクタリゼーションと選択フレームワークを導入する。 本研究では,多種多様な実世界のデータセットを対象とした擬似ラベル手法に対するDIPSの適用性と影響を実証する。
  論文  参考訳（メタデータ） (2024-06-19T17:58:40Z)
• VLM-CPL: Consensus Pseudo Labels from Vision-Language Models for Human Annotation-Free Pathological Image Classification [23.08368823707528]
  本稿では,VLM(Venture-Language Models)を利用した画像分類法を提案する。 2つのノイズラベルフィルタリング技術と半教師付き学習戦略を統合した,コンセンサス擬似ラベルに基づく新しい手法 VLM-CPL を提案する。 実験の結果,HPHデータセットとLC25Kデータセットの精度は87.1%,95.1%であった。
  論文  参考訳（メタデータ） (2024-03-23T13:24:30Z)
• Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning [8.387189407144403]
  部分ラベル学習(Partial label learning、PLL)は、各トレーニングインスタンスが候補ラベル(Partial label)のセットとペアリングされる弱い教師付き学習パラダイムである。 NPLLはこの制約を緩和し、一部の部分ラベルが真のラベルを含まないようにし、問題の実用性を高める。 本稿では,近傍の重み付けアルゴリズムを用いて,雑音のある部分ラベルを利用して画像に擬似ラベルを割り当てる最小限のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-07T13:32:47Z)
• Enhancing CLIP with CLIP: Exploring Pseudolabeling for Limited-Label Prompt Tuning [11.284317518288153]
  本稿では, 擬似ラベル, すなわちラベルなしデータのラベルを用いて, 即時チューニングによるCLIPの強化について検討する。 半教師付き, トランスダクティブなゼロショット, 教師なし学習といった学習パラダイムは, すべて同じ損失関数の最適化とみなすことができる。 1) 擬似ラベルを反復的に洗練する未探索プロンプトチューニング戦略は,半教師あり学習では19.5ポイント,帰納的ゼロショット学習では28.4ポイント,教師なし学習では15.2ポイント,CLIP精度を継続的に向上させる。
  論文  参考訳（メタデータ） (2023-06-02T16:43:05Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact Supervision [53.530957567507365]
  実世界のタスクでは、各トレーニングサンプルは、1つの基底真実ラベルといくつかの偽陽性ラベルを含む候補ラベルセットに関連付けられている。 本稿では,Multi-instance partial-label learning (MIPL) などの問題を定式化する。 既存のマルチインスタンス学習アルゴリズムと部分ラベル学習アルゴリズムはMIPL問題の解法に最適である。
  論文  参考訳（メタデータ） (2022-12-18T03:28:51Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Learning with Partial Labels from Semi-supervised Perspective [28.735185883881172]
  部分ラベル学習(Partial Label、PL)とは、部分ラベル付きデータから学習するタスクである。 セミスーパーバイザード・パースペクティブ(PLSP)を用いた部分ラベル学習という新しいPL学習手法を提案する。 PLSPは、特に高いあいまいさレベルにおいて、既存のPLベースライン法よりも著しく優れている。
  論文  参考訳（メタデータ） (2022-11-24T15:12:16Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。