論文の概要: CoAPT: Context Attribute words for Prompt Tuning

• arxiv url: http://arxiv.org/abs/2407.13808v1
• Date: Thu, 18 Jul 2024 08:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 21:39:27.363290
• Title: CoAPT: Context Attribute words for Prompt Tuning
• Title（参考訳）: CoAPT: Prompt Tuningのためのコンテキスト属性ワード
• Authors: Gun Lee, Subin An, Sungyong Baik, Soochahn Lee,
• Abstract要約: 少数/ゼロショット画像分類のための新しいプロンプトチューニング手法であるCoAPTを提案する。 中心となる動機は、属性は特定の概念に関する豊富な情報を持つ記述的な単語であるということである。 CoAPTは単語を学習可能なプロンプトチューニングに追加のプロンプトとして統合し、既存の様々なプロンプトチューニング手法に簡単に組み込むことができる。
• 参考スコア（独自算出の注目度）: 5.811993982861212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel prompt tuning method called CoAPT(Context Attribute words in Prompt Tuning) for few/zero-shot image classification. The core motivation is that attributes are descriptive words with rich information about a given concept. Thus, we aim to enrich text queries of existing prompt tuning methods, improving alignment between text and image embeddings in CLIP embedding space. To do so, CoAPT integrates attribute words as additional prompts within learnable prompt tuning and can be easily incorporated into various existing prompt tuning methods. To facilitate the incorporation of attributes into text embeddings and the alignment with image embeddings, soft prompts are trained together with an additional meta-network that generates input-image-wise feature biases from the concatenated feature encodings of the image-text combined queries. Our experiments demonstrate that CoAPT leads to considerable improvements for existing baseline methods on several few/zero-shot image classification tasks, including base-to-novel generalization, cross-dataset transfer, and domain generalization. Our findings highlight the importance of combining hard and soft prompts and pave the way for future research on the interplay between text and image latent spaces in pre-trained models.
• Abstract（参考訳）: 少数/ゼロショット画像分類のための,CoAPT (Context Attribute words in Prompt Tuning) と呼ばれる新しいプロンプトチューニング手法を提案する。 中心となる動機は、属性は特定の概念に関する豊富な情報を持つ記述的な単語であるということである。 そこで本研究では,既存のプロンプトチューニング手法のテキストクエリを充実させ,CLIP埋め込み空間におけるテキストと画像の埋め込みのアライメントを改善することを目的とする。 そのため、CoAPTは属性語を学習可能なプロンプトチューニングに付加的なプロンプトとして統合し、既存の様々なプロンプトチューニング手法に簡単に組み込むことができる。 テキスト埋め込みへの属性の取り込みや画像埋め込みとの整合化を容易にするため、画像-テキスト合成クエリの連結特徴符号化から入力-画像-特徴バイアスを生成する追加のメタネットワークと共にソフトプロンプトを訓練する。 実験により、CoAPTは、ベース・ツー・ノーベルの一般化、クロス・データセットの転送、ドメインの一般化など、いくつかの/ゼロショット画像分類タスクにおいて、既存のベースライン手法を大幅に改善することを示した。 本研究は、ハードプロンプトとソフトプロンプトを組み合わせることの重要性を強調し、事前学習されたモデルにおけるテキストと画像の潜在空間の相互作用について、今後の研究の道を開くものである。

関連論文リスト

• CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization [14.01847471143144]
  コンテクスト規則化(CoRe)を導入し、コンテクストトークンをプロンプトに正規化することで、新しい概念のテキスト埋め込みの学習を強化する。 CoReは、対応する画像の生成を必要とせずに任意のプロンプトに適用することができる。 包括的実験により,本手法は識別保存法とテキストアライメント法の両方において,いくつかの基本的手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-28T16:27:58Z)
• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
  テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。 我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
  論文  参考訳（メタデータ） (2024-04-05T13:44:39Z)
• Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning [13.357749288588039]
  以前の作業では、教師なし設定下でのテキスト情報のみに依存して、画像キャプションのためのCLIPのクロスモーダルアソシエーション機能を活用していた。 本稿では,合成画像とテキストのペアを組み込むことにより,これらの問題に対処する新しい手法を提案する。 テキストデータに対応する画像を得るために、事前訓練されたテキスト・ツー・イメージモデルが配置され、CLIP埋め込み空間の実際の画像に対して、生成された画像の擬似特徴を最適化する。
  論文  参考訳（メタデータ） (2023-12-14T12:39:29Z)
• Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
  合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。 本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。 提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2023-10-09T07:31:44Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
  ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。 我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
  論文  参考訳（メタデータ） (2023-03-30T06:02:40Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。