論文の概要: IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning

• arxiv url: http://arxiv.org/abs/2406.13683v1
• Date: Wed, 19 Jun 2024 16:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:54:50.823645
• Title: IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning
• Title（参考訳）: IntCoOp: 解釈可能性を考慮したビジョンランゲージプロンプトチューニング
• Authors: Soumya Suvra Ghosal, Samyadeep Basu, Soheil Feizi, Dinesh Manocha,
• Abstract要約: IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
• 参考スコア（独自算出の注目度）: 94.52149969720712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-text contrastive models such as CLIP learn transferable and robust representations for zero-shot transfer to a variety of downstream tasks. However, to obtain strong downstream performances, prompts need to be carefully curated, which can be a tedious engineering task. To address the issue of manual prompt engineering, prompt-tuning is used where a set of contextual vectors are learned by leveraging information from the training data. Despite their effectiveness, existing prompt-tuning frameworks often lack interpretability, thus limiting their ability to understand the compositional nature of images. In this work, we first identify that incorporating compositional attributes (e.g., a "green" tree frog) in the design of manual prompts can significantly enhance image-text alignment scores. Building upon this observation, we propose a novel and interpretable prompt-tuning method named IntCoOp, which learns to jointly align attribute-level inductive biases and class embeddings during prompt-tuning. To assess the effectiveness of our approach, we evaluate IntCoOp across two representative tasks in a few-shot learning setup: generalization to novel classes, and unseen domain shifts. Through extensive experiments across 10 downstream datasets on CLIP, we find that introducing attribute-level inductive biases leads to superior performance against state-of-the-art prompt tuning frameworks. Notably, in a 16-shot setup, IntCoOp improves CoOp by 7.35% in average performance across 10 diverse datasets.
• Abstract（参考訳）: CLIPのような画像テキストのコントラストモデルは、さまざまな下流タスクへのゼロショット転送のために、転送可能で堅牢な表現を学習する。 しかし、下流での強いパフォーマンスを得るためには、厳格なエンジニアリングタスクである、慎重にキュレートする必要がある。 手動プロンプトエンジニアリングの問題に対処するために、トレーニングデータから情報を活用することにより、コンテキストベクトルのセットが学習される場合、プロンプトチューニングが使用される。 その効果にもかかわらず、既存のプロンプトチューニングフレームワークは解釈性に欠けることが多く、それによって画像の合成の性質を理解する能力が制限される。 本研究ではまず,手動プロンプトの設計に構成属性(例えば「緑」木カエル)を組み込むことで,画像・テキストのアライメントスコアを大幅に向上させることができることを示す。 そこで本研究では,属性レベルの帰納バイアスとクラス埋め込みを協調的に整合させる手法であるIntCoOpを提案する。 提案手法の有効性を評価するため,IntCoOpは2つの代表的なタスクにまたがって,新しいクラスへの一般化,ドメインシフトの見当たらない2つの設定で評価する。 CLIP上の10のダウンストリームデータセットにわたる広範な実験により、属性レベルのインダクティブバイアスの導入は、最先端のプロンプトチューニングフレームワークに対して優れたパフォーマンスをもたらすことが判明した。 特に16ショットのセットアップでは、IntCoOpは10の多様なデータセットの平均パフォーマンスを7.35%改善している。

関連論文リスト

• AAPL: Adding Attributes to Prompt Learning for Vision-Language Models [6.32186874112557]
  本稿では,学習可能なプロンプトのバイアスを誘発する際,高次クラス情報から低次視覚強調特徴を分離するための逆トークン埋め込みを提案する。 我々は11のデータセットに対して実験を行い、AAPLは、いくつかのショット学習、ゼロショット学習、クロスデータセット、ドメイン一般化タスクにおいて、既存の手法と比較して好成績を示した。
  論文  参考訳（メタデータ） (2024-04-25T17:51:10Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• PRE: Vision-Language Prompt Learning with Reparameterization Encoder [24.855142164168605]
  CLIPのような訓練済みの大規模な視覚言語モデルは、下流タスクへのゼロショット転送可能性に大きな可能性を証明している。 最適な性能を得るためには、下流画像分布とテキストクラス記述との整合性を改善するために、手動によるプロンプトの選択が必要である。 非自明なプロンプトエンジニアリングを避けるため、最近の作業コンテキスト最適化(CoOp)では、学習可能なテキストトークンを使用して視覚領域にプロンプト学習という概念を導入した。
  論文  参考訳（メタデータ） (2023-09-14T14:48:01Z)
• Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
  本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。 我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
  論文  参考訳（メタデータ） (2023-08-22T04:24:45Z)
• ICPC: Instance-Conditioned Prompting with Contrastive Learning for Semantic Segmentation [26.25673603166731]
  最近の研究は、知識をCLIPから素早い学習を通して意味的セグメンテーションに移行することで、有望なパフォーマンスを実現することができることを示している。 設計と損失関数の2つの側面から視覚テキストアライメントの質を向上させることに注力する。 我々は、視覚とテキストの埋め込みのアライメントを洗練させるために、アライメント誘導によるコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2023-08-14T11:21:47Z)
• Consistency-guided Prompt Learning for Vision-Language Models [23.4909421082857]
  視覚言語モデルのための新しい微調整手法であるConsistency-Guided Prompt Learning (CoPrompt)を提案する。 提案手法は,下流タスクを数ショットで微調整した場合に,大規模な基礎モデルの一般化を改善する。
  論文  参考訳（メタデータ） (2023-06-01T23:20:47Z)
• Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
  ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。 我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
  論文  参考訳（メタデータ） (2023-03-30T06:02:40Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• Learning to Prompt for Vision-Language Models [82.25005817904027]
  視覚言語による事前学習が表現学習の有望な代替手段として登場した。 画像と離散ラベルを使って、視覚的な概念と見なされる一連の重みを学習する伝統から、2つの異なるエンコーダのための画像と生のテキストの整列へと移行する。 このようなパラダイムは、より広範な監視源の恩恵を受け、下流タスクへのゼロショット転送を可能にします。
  論文  参考訳（メタデータ） (2021-09-02T17:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。