論文の概要: Learning to Compose Diversified Prompts for Image Emotion Classification

• arxiv url: http://arxiv.org/abs/2201.10963v1
• Date: Wed, 26 Jan 2022 14:31:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 14:08:31.436041
• Title: Learning to Compose Diversified Prompts for Image Emotion Classification
• Title（参考訳）: 画像感情分類のための多彩なプロンプト構成の学習
• Authors: Sinuo Deng, Lifang Wu, Ge Shi, Lehao Xing, Meng Jian
• Abstract要約: Contrastive Language-Image Pre-Training (CLIP) は、事前学習された視覚言語モデルの最新の生まれ変わりを表す。 CLIPは最近、Visual Question Answeringのような幅広い下流の視覚言語タスクに優れたパワーを誇示している。 画像感情分類にCLIPをどのように効果的に適用できるかを示す一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.586293129420233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Language-Image Pre-training (CLIP) represents the latest incarnation of pre-trained vision-language models. Although CLIP has recently shown its superior power on a wide range of downstream vision-language tasks like Visual Question Answering, it is still underexplored for Image Emotion Classification (IEC). Adapting CLIP to the IEC task has three significant challenges, tremendous training objective gap between pretraining and IEC, shared suboptimal and invariant prompts for all instances. In this paper, we propose a general framework that shows how CLIP can be effectively applied to IEC. We first introduce a prompt tuning method that mimics the pretraining objective of CLIP and thus can leverage the rich image and text semantics entailed in CLIP. Then we automatically compose instance-specific prompts by conditioning them on the categories and image contents of instances, diversifying prompts and avoiding suboptimal problems. Evaluations on six widely-used affective datasets demonstrate that our proposed method outperforms the state-of-the-art methods to a large margin (i.e., up to 9.29% accuracy gain on EmotionROI dataset) on IEC tasks, with only a few parameters trained. Our codes will be publicly available for research purposes.
• Abstract（参考訳）: Contrastive Language-Image Pre-Training (CLIP) は、事前学習された視覚言語モデルの最新の生まれ変わりを表す。 CLIPは最近、ビジュアル質問回答(Visual Question Answering)のような幅広いダウンストリームの視覚言語タスクにおいて、その優位性を示しているが、イメージ感情分類(IEC)についてはいまだ調査されていない。 IECタスクにCLIPを適用するには、3つの大きな課題がある。 本稿では,IECにCLIPを効果的に適用する方法を示す汎用フレームワークを提案する。 私たちはまず,CLIPの事前学習目的を模倣するプロンプトチューニング手法を導入し,CLIPに含まれるリッチな画像とテキストセマンティクスを活用する。 次に,インスタンスのカテゴリや画像の内容に条件付けすることで,インスタンス固有のプロンプトを自動生成する。 6つの広く利用されている情緒的データセットの評価結果から,提案手法はIECタスクにおける最先端の手法(感情ROIデータセットでは最大9.29%の精度向上)よりも優れており,パラメータはわずかであった。 私たちのコードは研究目的で公開されます。

関連論文リスト

• Meta-Adapter: An Online Few-shot Learner for Vision-Language Model [64.21017759533474]
  CLIPとして知られる対照的な視覚言語事前学習は、オープンワールドの視覚概念を知覚する大きな可能性を実証している。 CLIPに基づくほとんどショットの学習方法は、通常、少数のサンプルでパラメータをオフラインで微調整する必要がある。 少数のサンプルから導かれるCLIP機能をオンライン的に洗練するための,軽量な残差型アダプタであるMeta-Adapterを提案する。
  論文  参考訳（メタデータ） (2023-11-07T07:27:16Z)
• MVP-SEG: Multi-View Prompt Learning for Open-Vocabulary Semantic Segmentation [44.28355088831045]
  まず、画像画素CLIP機能適応の必要性を実証し、次に、多視点プロンプト学習(MVP-SEG)を提供する。 MVP-SEGは画像画素適応の実現と開語彙セマンティックセマンティックセグメンテーションの解決に有効なソリューションである。 実験により、観察されたカテゴリから学習したマルチビュープロンプトは、目に見えないカテゴリに強く一般化されていることが示された。
  論文  参考訳（メタデータ） (2023-04-14T07:01:47Z)
• Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
  ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。 我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
  論文  参考訳（メタデータ） (2023-03-30T06:02:40Z)
• CLIP is Also an Efficient Segmenter: A Text-Driven Approach for Weakly Supervised Semantic Segmentation [19.208559353954833]
  本稿では,コントラスト言語-画像事前学習モデル(CLIP)が,画像レベルラベルのみを用いて異なるカテゴリをローカライズする可能性について検討する。 高品質なセグメンテーションマスクをCLIPから効率的に生成するために,CLIP-ESと呼ばれる新しいWSSSフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T06:23:59Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Is a Caption Worth a Thousand Images? A Controlled Study for Representation Learning [88.5382122413913]
  本研究では,従来の画像のみの手法よりも伝達可能な表現を持つ視覚モデルが得られるかを検討した。 画像のみの手法は、より多くの画像データでトレーニングされた場合でも、CLIPの転送性能と一致しないことがわかった。 この結果から,CLIPが既存の事前学習データセットに存在する言語情報を活用できるように,シンプルな処方薬を考案した。
  論文  参考訳（メタデータ） (2022-07-15T17:50:51Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。