論文の概要: TAI++: Text as Image for Multi-Label Image Classification by Co-Learning Transferable Prompt

• arxiv url: http://arxiv.org/abs/2405.06926v1
• Date: Sat, 11 May 2024 06:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 19:22:14.380582
• Title: TAI++: Text as Image for Multi-Label Image Classification by Co-Learning Transferable Prompt
• Title（参考訳）: TAI++: マルチラベル画像分類のためのテキスト・アズ・イメージ
• Authors: Xiangyu Wu, Qing-Yuan Jiang, Yang Yang, Yi-Feng Wu, Qing-Guo Chen, Jianfeng Lu,
• Abstract要約: この問題を解決するために,暗黙的な視覚的プロンプトチューニングのための擬似視覚プロンプト(PVP)モジュールを提案する。 具体的には、まず各カテゴリの擬似視覚的プロンプトを学習し、事前学習された視覚言語モデルのよく整合した空間によって多様な視覚的知識をマイニングする。 VOC2007, MS-COCO, NUSWIDEデータセットによる実験結果から, 本手法がSOTA(State-of-the-art(SOTA)法を超えることを示す。
• 参考スコア（独自算出の注目度）: 15.259819430801402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent introduction of prompt tuning based on pre-trained vision-language models has dramatically improved the performance of multi-label image classification. However, some existing strategies that have been explored still have drawbacks, i.e., either exploiting massive labeled visual data at a high cost or using text data only for text prompt tuning and thus failing to learn the diversity of visual knowledge. Hence, the application scenarios of these methods are limited. In this paper, we propose a pseudo-visual prompt~(PVP) module for implicit visual prompt tuning to address this problem. Specifically, we first learn the pseudo-visual prompt for each category, mining diverse visual knowledge by the well-aligned space of pre-trained vision-language models. Then, a co-learning strategy with a dual-adapter module is designed to transfer visual knowledge from pseudo-visual prompt to text prompt, enhancing their visual representation abilities. Experimental results on VOC2007, MS-COCO, and NUSWIDE datasets demonstrate that our method can surpass state-of-the-art~(SOTA) methods across various settings for multi-label image classification tasks. The code is available at https://github.com/njustkmg/PVP.
• Abstract（参考訳）: 近年,事前学習型視覚言語モデルに基づくプロンプトチューニングの導入により,マルチラベル画像分類の性能が劇的に向上した。 しかし、現在検討されているいくつかの戦略には、高コストで大量のラベル付き視覚データを利用するか、テキストデータのみをテキストのプロンプトチューニングに使用するか、視覚知識の多様性を学ばないという欠点がある。 したがって、これらのメソッドのアプリケーションシナリオは限られている。 本稿では,この問題に対処するための暗黙的な視覚的プロンプトチューニングのための擬似視覚プロンプト~(PVP)モジュールを提案する。 具体的には、まず各カテゴリの擬似視覚的プロンプトを学習し、事前学習された視覚言語モデルのよく整合した空間によって多様な視覚的知識をマイニングする。 次に、擬似視覚的プロンプトからテキストプロンプトへ視覚的知識を伝達し、視覚的表現能力を高めるために、二重適応モジュールを用いた協調学習戦略を設計する。 VOC2007, MS-COCO, NUSWIDEデータセットによる実験結果から, マルチラベル画像分類タスクにおいて, 提案手法が最先端〜SOTA(State-of-the-art~)手法を超越できることが判明した。 コードはhttps://github.com/njustkmg/PVPで入手できる。

関連論文リスト

• The Solution for Language-Enhanced Image New Category Discovery [5.500122875523184]
  本稿では,CLIPのトレーニングプロセスの反転とPseudo Visual Promptsの概念の導入を提案する。 これらのプロンプトは各対象カテゴリに対して行われ、大規模で低コストな文データに基づいて事前訓練される。 次に、コントラスト学習を用いて、記憶された視覚情報をテキストラベルに転送し、その視覚表現能力を高める。
  論文  参考訳（メタデータ） (2024-07-06T08:09:29Z)
• ProGEO: Generating Prompts through Image-Text Contrastive Learning for Visual Geo-localization [0.0]
  そこで本稿では,視覚性能を向上させるための2段階学習手法を提案する。 提案手法の有効性を複数の大規模視覚的ジオローカライゼーションデータセットで検証する。
  論文  参考訳（メタデータ） (2024-06-04T02:28:51Z)
• VIXEN: Visual Text Comparison Network for Image Difference Captioning [58.16313862434814]
  画像間の視覚的差異をテキストで簡潔に要約する手法であるVIXENを提案する。 提案するネットワークは,事前学習された大規模言語モデルに対するソフトプロンプトを構築し,画像特徴を一対にマッピングする。
  論文  参考訳（メタデータ） (2024-02-29T12:56:18Z)
• Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
  ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。 我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
  論文  参考訳（メタデータ） (2023-03-30T06:02:40Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)
• Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model [39.722927180264584]
  本稿では、テキストと視覚的プロンプトを同時に学習することで、新しいDual-modality Prompt Tuning(DPT)パラダイムを提案する。 最終的な画像特徴をよりターゲットの視覚概念に集中させるため,クラス認識型ビジュアルプロンプトチューニング方式を提案する。
  論文  参考訳（メタデータ） (2022-08-17T15:06:36Z)
• Aligning Visual Prototypes with BERT Embeddings for Few-Shot Learning [48.583388368897126]
  ほとんどショット学習は、これまで目に見えないイメージのカテゴリを認識するための学習である。 画像クラスの名称を考慮に入れた手法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T08:08:28Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。