論文の概要: Tuning Vision-Language Models with Candidate Labels by Prompt Alignment
- arxiv url: http://arxiv.org/abs/2407.07638v2
- Date: Thu, 11 Jul 2024 04:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 11:33:49.092758
- Title: Tuning Vision-Language Models with Candidate Labels by Prompt Alignment
- Title（参考訳）: プロンプトアライメントによる候補ラベルの調整型ビジョンランゲージモデル
- Authors: Zhifang Zhang, Beibei Li,
- Abstract要約: 視覚言語モデル(VLM)は、画像テキストペアの大規模なトレーニングデータセットから高品質な表現を学習することができる。
プロンプト学習は、下流タスクに適応するためにVLMを微調整する一般的なアプローチである。
本稿では,学習過程を候補ラベルでガイドする枠組みを提案する。
- 参考スコア（独自算出の注目度）: 8.013652039026264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) can learn high-quality representations from a large-scale training dataset of image-text pairs. Prompt learning is a popular approach to fine-tuning VLM to adapt them to downstream tasks. Despite the satisfying performance, a major limitation of prompt learning is the demand for labelled data. In real-world scenarios, we may only obtain candidate labels (where the true label is included) instead of the true labels due to data privacy or sensitivity issues. In this paper, we provide the first study on prompt learning with candidate labels for VLMs. We empirically demonstrate that prompt learning is more advantageous than other fine-tuning methods, for handling candidate labels. Nonetheless, its performance drops when the label ambiguity increases. In order to improve its robustness, we propose a simple yet effective framework that better leverages the prior knowledge of VLMs to guide the learning process with candidate labels. Specifically, our framework disambiguates candidate labels by aligning the model output with the mixed class posterior jointly predicted by both the learnable and the handcrafted prompt. Besides, our framework can be equipped with various off-the-shelf training objectives for learning with candidate labels to further improve their performance. Extensive experiments demonstrate the effectiveness of our proposed framework.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、画像テキストペアの大規模なトレーニングデータセットから高品質な表現を学習することができる。
プロンプト学習は、下流タスクに適応するためにVLMを微調整する一般的なアプローチである。
十分な性能にもかかわらず、迅速な学習の大きな制限はラベル付きデータの要求である。
現実のシナリオでは、データのプライバシや感度の問題のため、真のラベルではなく、候補ラベル(真のラベルが含まれている場所)のみを取得することができます。
本稿では,VLMの候補ラベルを用いた初等学習について述べる。
提案手法は,他の微調整手法よりも高速学習が有利であることを実証的に示す。
それでも、ラベルのあいまいさが大きくなると、その性能は低下する。
その堅牢性を改善するために,VLMの事前知識を活用して学習プロセスを学習ラベルでガイドする,シンプルで効果的なフレームワークを提案する。
具体的には、学習可能なプロンプトと手作りされたプロンプトの両方で予測された混合クラス後部とモデル出力を一致させることにより、候補ラベルを曖昧にする。
さらに,本フレームワークは,対象ラベルを用いて学習し,さらなる性能向上を図るための,既成のトレーニング目標も備えることができる。
大規模な実験により,提案手法の有効性が実証された。
関連論文リスト
- On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。
LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。
本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Making Large Vision Language Models to be Good Few-shot Learners [11.204701216476815]
FSC(Few-shot Classification)は、コンピュータビジョンにおける基本的な課題である。
LVLMは、サポートデータから有用な情報を効果的に抽出するのではなく、特定の応答形式を学習するリスクを負う。
本稿では,FSCにおけるLVLMの性能について検討し,学習不足や重度の位置バイアスの有無などの重要な問題を明らかにする。
論文 参考訳（メタデータ） (2024-08-21T03:01:11Z) - Candidate Pseudolabel Learning: Enhancing Vision-Language Models by Prompt Tuning with Unlabeled Data [9.132277138594652]
本研究では,未ラベルデータの多い視覚言語モデルに対して,Candidate Pseudolabel Learning法を提案する。
提案手法は,真のラベルインクルージョンとクラスバランスの取れたインスタンス選択において,性能が向上する可能性がある。
論文 参考訳（メタデータ） (2024-06-15T04:50:20Z) - Can Better Text Semantics in Prompt Tuning Improve VLM Generalization? [28.041879000565874]
本稿では,大規模言語モデルから得られたクラス記述を活用するプロンプトチューニング手法を提案する。
提案手法では,より一般化可能なプロンプトを学習するために,部分レベルの説明誘導画像とテキストの特徴を合成する。
11のベンチマークデータセットで実施した総合的な実験から,提案手法が確立された手法より優れていたことが判明した。
論文 参考訳（メタデータ） (2024-05-13T16:52:17Z) - Active Prompt Learning in Vision Language Models [21.276006224504748]
我々は,PCBと表記される事前学習型視覚言語モデルのための新しいアクティブラーニングフレームワークを考案した。
そこで本研究では,7つの実世界のデータセットを用いて実験を行い,PCBが従来の能動的学習法やランダムサンプリング法を超えることを示した。
論文 参考訳（メタデータ） (2023-11-18T22:42:16Z) - DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition
with Limited Annotations [79.433122872973]
低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。
我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。
Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-08-03T17:33:20Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳（メタデータ） (2023-03-09T09:05:47Z) - MaPLe: Multi-modal Prompt Learning [54.96069171726668]
本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。
最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
論文 参考訳（メタデータ） (2022-10-06T17:59:56Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳（メタデータ） (2020-11-20T08:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。