論文の概要: Bringing Textual Prompt to AI-Generated Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2403.18714v1
- Date: Wed, 27 Mar 2024 16:02:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 16:09:33.711752
- Title: Bringing Textual Prompt to AI-Generated Image Quality Assessment
- Title(参考訳): AIによる画像品質評価にテキストプロンプトを導入する
- Authors: Bowen Qu, Haohui Li, Wei Gao,
- Abstract要約: IP-IQA (AGIs Quality Assessment via Image and Prompt)は、AGIQAのマルチモーダルフレームワークである。
また、新規な特別な[QA]トークンとともに、効果的で効率的なイメージプロンプト融合モジュールも適用した。
実験により,我々のIP-IQAがAGIQA-1kおよびAGIQA-3kデータセットの最先端化を実現していることが示された。
- 参考スコア(独自算出の注目度): 4.230780744307392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-Generated Images (AGIs) have inherent multimodal nature. Unlike traditional image quality assessment (IQA) on natural scenarios, AGIs quality assessment (AGIQA) takes the correspondence of image and its textual prompt into consideration. This is coupled in the ground truth score, which confuses the unimodal IQA methods. To solve this problem, we introduce IP-IQA (AGIs Quality Assessment via Image and Prompt), a multimodal framework for AGIQA via corresponding image and prompt incorporation. Specifically, we propose a novel incremental pretraining task named Image2Prompt for better understanding of AGIs and their corresponding textual prompts. An effective and efficient image-prompt fusion module, along with a novel special [QA] token, are also applied. Both are plug-and-play and beneficial for the cooperation of image and its corresponding prompt. Experiments demonstrate that our IP-IQA achieves the state-of-the-art on AGIQA-1k and AGIQA-3k datasets. Code will be available.
- Abstract(参考訳): AI生成画像(AGI)は本質的にマルチモーダルな性質を持つ。
自然シナリオにおける従来の画像品質評価(IQA)とは異なり、AGIs品質評価(AGIQA)は画像とテキストの対応を考慮に入れている。
これは、ユニモーダルIQA法を混乱させる基底真理スコアに結合される。
そこで本研究では,AGIQAのマルチモーダルフレームワークであるIP-IQA(AGIs Quality Assessment via Image and Prompt)を導入する。
具体的には、AGIとそれに対応するテキストプロンプトの理解を深めるために、Image2Promptという新しいインクリメンタル事前学習タスクを提案する。
また、新規な特別な[QA]トークンとともに、効果的で効率的なイメージプロンプト融合モジュールも適用した。
どちらもプラグアンドプレイで、画像とそれに対応するプロンプトの協調に役立ちます。
実験により,我々のIP-IQAがAGIQA-1kおよびAGIQA-3kデータセットの最先端化を実現していることが示された。
コードは利用可能です。
関連論文リスト
- Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。
提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。
実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
論文 参考訳(メタデータ) (2024-05-07T13:35:51Z) - PKU-AIGIQA-4K: A Perceptual Quality Assessment Database for Both Text-to-Image and Image-to-Image AI-Generated Images [1.5265677582796984]
我々はPKU-AIGIQA-4Kという名前のテキスト・ツー・イメージAIGIとイメージ・ツー・イメージAIGIの両方を対象とした大規模な知覚品質評価データベースを構築した。
本研究では,非参照法NR-AIGCIQA,フル参照法FR-AIGCIQA,部分参照法PR-AIGCIQAを含む事前学習モデルに基づく3つの画像品質評価手法を提案する。
論文 参考訳(メタデータ) (2024-04-29T03:57:43Z) - Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。
セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。
最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
論文 参考訳(メタデータ) (2024-04-27T02:40:36Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z) - AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。
3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。
我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
論文 参考訳(メタデータ) (2024-04-01T10:08:23Z) - TIER: Text-Image Encoder-based Regression for AIGC Image Quality
Assessment [2.59079758388817]
AIGCIQAタスクでは、画像は通常、テキストプロンプトを使用して生成モデルによって生成される。
既存のAIGCIQAメソッドのほとんどは、個々の生成された画像から直接予測されたスコアを回帰する。
本稿では,テキスト画像エンコーダに基づく回帰(TIER)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-08T12:35:15Z) - IQAGPT: Image Quality Assessment with Vision-language and ChatGPT Models [23.99102775778499]
本稿では,画像品質評価システムIQAGPTを紹介する。
トレーニングと評価のためのCT-IQAデータセットを構築した。
LLMの能力をよりよく活用するために、アノテートされた品質スコアをプロンプトテンプレートを用いて意味的にリッチなテキスト記述に変換する。
論文 参考訳(メタデータ) (2023-12-25T09:13:18Z) - PKU-I2IQA: An Image-to-Image Quality Assessment Database for AI
Generated Images [1.6031185986328562]
我々はPKU-I2IQAという人間の知覚に基づく画像から画像へのAIGCIQAデータベースを構築した。
本研究では,非参照画像品質評価法に基づくNR-AIGCIQAとフル参照画像品質評価法に基づくFR-AIGCIQAの2つのベンチマークモデルを提案する。
論文 参考訳(メタデータ) (2023-11-27T05:53:03Z) - Blind Image Quality Assessment via Vision-Language Correspondence: A
Multitask Learning Perspective [93.56647950778357]
ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。
我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
論文 参考訳(メタデータ) (2023-03-27T07:58:09Z) - TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation [55.83319599681002]
Text-VQAは、画像中のテキストの手がかりを理解する必要がある質問に答えることを目的としている。
画像のシーンコンテキストで利用可能な既存のリッチテキストを明示的に利用することにより,高品質で多様なQAペアを生成する方法を開発した。
論文 参考訳(メタデータ) (2022-08-03T02:18:09Z) - Confusing Image Quality Assessment: Towards Better Augmented Reality
Experience [96.29124666702566]
我々はAR技術を仮想シーンと実シーンの重ね合わせとみなし、視覚的混乱を基本的な理論として紹介する。
ConFusing Image Quality Assessment (CFIQA)データベースが構築され、600個の参照画像と300個の歪画像とをペアに混合して生成する。
また、難解な画像品質をよりよく評価するために、CFIQAと呼ばれる客観的な計量も提案されている。
論文 参考訳(メタデータ) (2022-04-11T07:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。