論文の概要: Multi-modal Attribute Prompting for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2403.00219v1
- Date: Fri, 1 Mar 2024 01:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:36:09.553682
- Title: Multi-modal Attribute Prompting for Vision-Language Models
- Title(参考訳): 視覚言語モデルのためのマルチモーダル属性プロンプト
- Authors: Xin Liu and Jiamin Wu and Tianzhu Zhang
- Abstract要約: 大規模な事前訓練されたビジョンランゲージモデル(VLM)は、下流のタスクに対して強力な一般化能力を示すが、少数のシナリオでは苦労する。
既存のプロンプト技術は主にグローバルテキストと画像表現に重点を置いているが、マルチモーダル属性の特徴を見落としている。
テキスト属性プロンプト,視覚属性プロンプト,属性レベルのアライメントを共同で探索し,マルチモーダル属性プロンプト法(MAP)を提案する。
- 参考スコア(独自算出の注目度): 41.674926862451876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large pre-trained Vision-Language Models (VLMs), like CLIP, exhibit strong
generalization ability to downstream tasks but struggle in few-shot scenarios.
Existing prompting techniques primarily focus on global text and image
representations, yet overlooking multi-modal attribute characteristics. This
limitation hinders the model's ability to perceive fine-grained visual details
and restricts its generalization ability to a broader range of unseen classes.
To address this issue, we propose a Multi-modal Attribute Prompting method
(MAP) by jointly exploring textual attribute prompting, visual attribute
prompting, and attribute-level alignment. The proposed MAP enjoys several
merits. First, we introduce learnable visual attribute prompts enhanced by
textual attribute semantics to adaptively capture visual attributes for images
from unknown categories, boosting fine-grained visual perception capabilities
for CLIP. Second, the proposed attribute-level alignment complements the global
alignment to enhance the robustness of cross-modal alignment for
open-vocabulary objects. To our knowledge, this is the first work to establish
cross-modal attribute-level alignment for CLIP-based few-shot adaptation.
Extensive experimental results on 11 datasets demonstrate that our method
performs favorably against state-of-the-art approaches.
- Abstract(参考訳): CLIPのように、トレーニング済みの大規模なビジョンランゲージモデル(VLM)は、ダウンストリームタスクに対する強力な一般化能力を示すが、数ショットシナリオでは苦労する。
既存のプロンプト技術は主にグローバルテキストと画像表現に重点を置いているが、マルチモーダル属性の特徴を見落としている。
この制限は、モデルがきめ細かな視覚的詳細を知覚する能力を妨げ、その一般化能力をより広範囲の未確認クラスに制限する。
この問題を解決するために,テキスト属性プロンプト,視覚属性プロンプト,属性レベルのアライメントを共同で探索し,マルチモーダル属性プロンプト法(MAP)を提案する。
提案されたMAPにはいくつかのメリットがある。
まず,テキスト属性セマンティクスによって強化された学習可能なビジュアル属性プロンプトを導入し,未知のカテゴリから画像の視覚的属性を適応的にキャプチャし,クリップのきめ細かい視覚知覚能力を高める。
第2に,提案する属性レベルアライメントはグローバルアライメントを補完し,オープンボキャブラリーオブジェクトのクロスモーダルアライメントのロバスト性を高める。
私たちの知る限り、これはCLIPベースの少数ショット適応のためのクロスモーダル属性レベルのアライメントを確立する最初の作業です。
11のデータセットに関する広範な実験結果から,本手法は最先端のアプローチに好適に機能することが示された。
関連論文リスト
- UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World
Understanding [93.45067274442881]
本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語画像事前学習(CLIP)を拡張した。
UMG-CLIPと呼ばれる統一された多粒性学習フレームワークを開発し、異なるレベルの詳細で多目的知覚能力を持つモデルを同時に強化する。
論文 参考訳(メタデータ) (2024-01-12T06:35:09Z) - Object Attribute Matters in Visual Question Answering [15.705504296316576]
本稿では,オブジェクト属性の活用の観点から,新しいVQAアプローチを提案する。
属性融合モジュールはマルチモーダルグラフニューラルネットワークを構築し、メッセージパッシングを通じて属性と視覚的特徴を融合する。
オブジェクトレベルの視覚言語アライメントの改善により、マルチモーダルシーンの理解が容易になり、モデルの堅牢性が改善される。
論文 参考訳(メタデータ) (2023-12-20T12:46:30Z) - Text Descriptions are Compressive and Invariant Representations for
Visual Learning [63.3464863723631]
本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。
特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。
このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
論文 参考訳(メタデータ) (2023-07-10T03:06:45Z) - LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
ラベル付き例を限定して、新しいタスクに適応することを目的としている。
近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。
本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
論文 参考訳(メタデータ) (2023-07-04T06:54:01Z) - OvarNet: Towards Open-vocabulary Object Attribute Recognition [42.90477523238336]
CLIP-Attrと呼ばれるオープンボキャブラリオブジェクトの検出と属性分類に有効な2段階のアプローチを提案する。
候補オブジェクトは最初、オフラインのRPNで提案され、後にセマンティックなカテゴリと属性に分類される。
視覚的シーン理解において,意味カテゴリーと属性の認識が相補的であることを示す。
論文 参考訳(メタデータ) (2023-01-23T15:59:29Z) - SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for
Few-shot Image Classification [84.05253637260743]
本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。
SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。
13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
論文 参考訳(メタデータ) (2022-11-28T14:58:15Z) - MaPLe: Multi-modal Prompt Learning [54.96069171726668]
本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。
最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
論文 参考訳(メタデータ) (2022-10-06T17:59:56Z) - Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。
対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。
我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文 参考訳(メタデータ) (2022-03-27T21:16:10Z) - Attributes-Guided and Pure-Visual Attention Alignment for Few-Shot
Recognition [27.0842107128122]
属性誘導型アテンションモジュール (AGAM) を設計し, 属性を付加し, より識別的な特徴を学習する。
提案モジュールは,最先端性能を実現するため,単純なメートル法に基づくアプローチを大幅に改善することができる。
論文 参考訳(メタデータ) (2020-09-10T08:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。