論文の概要: CLIP-AGIQA: Boosting the Performance of AI-Generated Image Quality Assessment with CLIP
- arxiv url: http://arxiv.org/abs/2408.15098v1
- Date: Tue, 27 Aug 2024 14:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 13:33:40.748514
- Title: CLIP-AGIQA: Boosting the Performance of AI-Generated Image Quality Assessment with CLIP
- Title（参考訳）: CLIP-AGIQA:CLIPによるAI生成画像品質評価の性能向上
- Authors: Zhenchen Tang, Zichuan Wang, Bo Peng, Jing Dong,
- Abstract要約: 生成画像の品質評価のためのCLIPに基づく回帰モデルであるCLIP-AGIQAを開発した。
CLIPのテキスト知識を品質評価に活用するために,複数カテゴリの学習可能なプロンプトを実装した。
- 参考スコア（独自算出の注目度）: 5.983562693055378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of generative technologies, AI-Generated Images (AIGIs) have been widely applied in various aspects of daily life. However, due to the immaturity of the technology, the quality of the generated images varies, so it is important to develop quality assessment techniques for the generated images. Although some models have been proposed to assess the quality of generated images, they are inadequate when faced with the ever-increasing and diverse categories of generated images. Consequently, the development of more advanced and effective models for evaluating the quality of generated images is urgently needed. Recent research has explored the significant potential of the visual language model CLIP in image quality assessment, finding that it performs well in evaluating the quality of natural images. However, its application to generated images has not been thoroughly investigated. In this paper, we build on this idea and further explore the potential of CLIP in evaluating the quality of generated images. We design CLIP-AGIQA, a CLIP-based regression model for quality assessment of generated images, leveraging rich visual and textual knowledge encapsulated in CLIP. Particularly, we implement multi-category learnable prompts to fully utilize the textual knowledge in CLIP for quality assessment. Extensive experiments on several generated image quality assessment benchmarks, including AGIQA-3K and AIGCIQA2023, demonstrate that CLIP-AGIQA outperforms existing IQA models, achieving excellent results in evaluating the quality of generated images.
- Abstract（参考訳）: 生成技術の急速な発展に伴い、AIGI(AI-Generated Images)は日常生活の様々な側面に広く応用されている。
しかし、技術が未成熟であるため、生成した画像の品質は異なるため、生成した画像の品質評価技術を開発することが重要である。
生成画像の品質を評価するためにいくつかのモデルが提案されているが、生成画像の絶え間なく増加し、多様なカテゴリに直面した場合には不十分である。
そのため、画像の品質を評価するためのより高度で効果的なモデルの開発が急務である。
近年の研究では、画像品質評価における視覚言語モデルCLIPの意義を探求し、自然画像の品質評価に有効であることが確認されている。
しかし, 生成画像への応用は十分には研究されていない。
本稿では、このアイデアに基づいて、生成された画像の品質を評価するCLIPの可能性をさらに探求する。
生成画像の品質評価のためのCLIPベースの回帰モデルであるCLIP-AGIQAを設計し、CLIPにカプセル化された豊富な視覚的およびテキスト的知識を活用する。
特に,CLIPのテキスト知識を品質評価に活用するために,複数カテゴリの学習可能なプロンプトを実装した。
AGIQA-3KやAIGCIQA2023などの画像品質評価ベンチマークの大規模な実験では、CLIP-AGIQAが既存のIQAモデルより優れており、生成された画像の品質を評価する上で優れた結果が得られた。
関連論文リスト
- Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment [57.07360640784803]
視覚言語による多モーダル・プロンプト学習による画像品質評価(AGIQA)を提案する。
具体的には、コントラスト言語-画像事前学習(CLIP)モデルの言語と視覚の分岐に学習可能なテキストと視覚的プロンプトを導入する。
我々は、上記のマルチモーダルプロンプトの最適化を導くために、学習された視覚言語一貫性の知識を用いて、テキストから画像へのアライメント品質予測タスクを設計する。
論文 参考訳（メタデータ） (2024-06-24T13:45:31Z) - Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning [58.41087653543607]
我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。
本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
論文 参考訳（メタデータ） (2024-05-12T17:45:11Z) - PKU-AIGIQA-4K: A Perceptual Quality Assessment Database for Both Text-to-Image and Image-to-Image AI-Generated Images [1.5265677582796984]
我々はPKU-AIGIQA-4Kという名前のテキスト・ツー・イメージAIGIとイメージ・ツー・イメージAIGIの両方を対象とした大規模な知覚品質評価データベースを構築した。
本研究では,非参照法NR-AIGCIQA,フル参照法FR-AIGCIQA,部分参照法PR-AIGCIQAを含む事前学習モデルに基づく3つの画像品質評価手法を提案する。
論文 参考訳（メタデータ） (2024-04-29T03:57:43Z) - AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。
3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。
我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
論文 参考訳（メタデータ） (2024-04-01T10:08:23Z) - IQAGPT: Image Quality Assessment with Vision-language and ChatGPT Models [23.99102775778499]
本稿では,画像品質評価システムIQAGPTを紹介する。
トレーニングと評価のためのCT-IQAデータセットを構築した。
LLMの能力をよりよく活用するために、アノテートされた品質スコアをプロンプトテンプレートを用いて意味的にリッチなテキスト記述に変換する。
論文 参考訳（メタデータ） (2023-12-25T09:13:18Z) - PKU-I2IQA: An Image-to-Image Quality Assessment Database for AI
Generated Images [1.6031185986328562]
我々はPKU-I2IQAという人間の知覚に基づく画像から画像へのAIGCIQAデータベースを構築した。
本研究では,非参照画像品質評価法に基づくNR-AIGCIQAとフル参照画像品質評価法に基づくFR-AIGCIQAの2つのベンチマークモデルを提案する。
論文 参考訳（メタデータ） (2023-11-27T05:53:03Z) - Let's ViCE! Mimicking Human Cognitive Behavior in Image Generation
Evaluation [96.74302670358145]
生成/編集された画像と対応するプロンプト/インストラクションの整合性を評価するために,視覚概念評価(ViCE)の自動手法を提案する。
ViCEは、Large Language Models(LLM)とVisual Question Answering(VQA)の強みを統合パイプラインに統合し、品質評価において人間の認知プロセスを再現することを目指している。
論文 参考訳（メタデータ） (2023-07-18T16:33:30Z) - Subjective and Objective Quality Assessment for in-the-Wild Computer
Graphics Images [57.02760260360728]
我々は6000のCGI(CGIQA-6k)からなる大規模CGIQAデータベースを構築した。
本稿では, 歪みと美的品質表現を両立させて, 効果的な深層学習に基づくno-reference (NR) IQAモデルを提案する。
実験の結果,提案手法は構築したCGIQA-6kデータベース上で,最先端のNR IQA法よりも優れていた。
論文 参考訳（メタデータ） (2023-03-14T16:32:24Z) - Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。
本研究では,変換器を用いた全参照IQAモデルの性能について検討する。
また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T10:21:08Z) - A survey on IQA [0.0]
本稿では,画像品質評価と映像品質評価の概念と指標について概説する。
本報告では, 画像品質評価手法について概説し, 深層学習に基づく非参照画像品質評価手法に着目した。
論文 参考訳（メタデータ） (2021-08-29T10:52:27Z) - GIQA: Generated Image Quality Assessment [36.01759301994946]
現在、GAN(Generative Adversarial Network)は印象的な成果を上げているが、すべての生成した画像が完璧ではない。
本稿では,生成画像の品質を定量的に評価する生成画像品質評価(GIQA)を提案する。
論文 参考訳（メタデータ） (2020-03-19T17:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。