論文の概要: Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment

• arxiv url: http://arxiv.org/abs/2406.16641v1
• Date: Mon, 24 Jun 2024 13:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:34:57.823246
• Title: Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment
• Title（参考訳）: ブラインドAI画像品質評価のための視覚言語一貫性指導型マルチモーダル・プロンプト学習
• Authors: Jun Fu, Wei Zhou, Qiuping Jiang, Hantao Liu, Guangtao Zhai,
• Abstract要約: 視覚言語による多モーダル・プロンプト学習による画像品質評価(AGIQA)を提案する。 具体的には、コントラスト言語-画像事前学習(CLIP)モデルの言語と視覚の分岐に学習可能なテキストと視覚的プロンプトを導入する。 我々は、上記のマルチモーダルプロンプトの最適化を導くために、学習された視覚言語一貫性の知識を用いて、テキストから画像へのアライメント品質予測タスクを設計する。
• 参考スコア（独自算出の注目度）: 57.07360640784803
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently, textual prompt tuning has shown inspirational performance in adapting Contrastive Language-Image Pre-training (CLIP) models to natural image quality assessment. However, such uni-modal prompt learning method only tunes the language branch of CLIP models. This is not enough for adapting CLIP models to AI generated image quality assessment (AGIQA) since AGIs visually differ from natural images. In addition, the consistency between AGIs and user input text prompts, which correlates with the perceptual quality of AGIs, is not investigated to guide AGIQA. In this letter, we propose vision-language consistency guided multi-modal prompt learning for blind AGIQA, dubbed CLIP-AGIQA. Specifically, we introduce learnable textual and visual prompts in language and vision branches of CLIP models, respectively. Moreover, we design a text-to-image alignment quality prediction task, whose learned vision-language consistency knowledge is used to guide the optimization of the above multi-modal prompts. Experimental results on two public AGIQA datasets demonstrate that the proposed method outperforms state-of-the-art quality assessment models. The source code is available at https://github.com/JunFu1995/CLIP-AGIQA.
• Abstract（参考訳）: 近年,コントラスト言語-画像事前学習(CLIP)モデルを自然な画像品質評価に適用する上で,テキスト・プロンプト・チューニングはインスピレーション的性能を示した。 しかし、このような単モーダルなプロンプト学習法はCLIPモデルの言語分岐をチューニングするだけである。 AGIが自然画像と視覚的に異なるため、CLIPモデルをAI生成画像品質評価(AGIQA)に適用するには十分ではない。 さらに、AGIの知覚的品質と相関するユーザ入力テキストプロンプトとAGIの整合性は、AGIQAのガイドには適用されない。 本稿では,CLIP-AGIQA(CLIP-AGIQA)と呼ばれる盲点AGIQAに対して,視覚言語で指導されたマルチモーダル・プロンプト学習を提案する。 具体的には,CLIPモデルの言語と視覚分岐において,学習可能なテキストと視覚的プロンプトを導入する。 さらに、上記のマルチモーダルプロンプトの最適化を導くために、学習された視覚言語整合性知識を用いたテキスト・画像のアライメント品質予測タスクを設計する。 2つの公開AGIQAデータセットの実験結果から,提案手法が最先端の品質評価モデルより優れていることが示された。 ソースコードはhttps://github.com/JunFu 1995/CLIP-AGIQAで入手できる。

関連論文リスト

• Vision Language Modeling of Content, Distortion and Appearance for Image Quality Assessment [20.851102845794244]
  画像品質評価(IQA)の開発には品質評価属性に関する高レベル知識の蒸留が不可欠である 自己監督・視線監督画像QUality Evaluator (SLIQUE) と呼ばれる新しいブラインドIQA(BIQA)モデルを提案する。 SLIQUEは、画像意味内容、歪み特性およびIQAの外観特性に関する高度な知識を得るための、視覚言語と視覚コントラスト表現学習フレームワークである。
  論文  参考訳（メタデータ） (2024-06-14T09:18:28Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• IQAGPT: Image Quality Assessment with Vision-language and ChatGPT Models [23.99102775778499]
  本稿では,画像品質評価システムIQAGPTを紹介する。 トレーニングと評価のためのCT-IQAデータセットを構築した。 LLMの能力をよりよく活用するために、アノテートされた品質スコアをプロンプトテンプレートを用いて意味的にリッチなテキスト記述に変換する。
  論文  参考訳（メタデータ） (2023-12-25T09:13:18Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。