論文の概要: Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning

• arxiv url: http://arxiv.org/abs/2405.07346v1
• Date: Sun, 12 May 2024 17:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 15:24:35.424507
• Title: Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning
• Title（参考訳）: インストラクションチューニングによるAI生成画像の人間の嗜好理解と評価
• Authors: Jiarui Wang, Huiyu Duan, Guangtao Zhai, Xiongkuo Min,
• Abstract要約: 我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。 本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
• 参考スコア（独自算出の注目度）: 58.41087653543607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Intelligence Generated Content (AIGC) has grown rapidly in recent years, among which AI-based image generation has gained widespread attention due to its efficient and imaginative image creation ability. However, AI-generated Images (AIGIs) may not satisfy human preferences due to their unique distortions, which highlights the necessity to understand and evaluate human preferences for AIGIs. To this end, in this paper, we first establish a novel Image Quality Assessment (IQA) database for AIGIs, termed AIGCIQA2023+, which provides human visual preference scores and detailed preference explanations from three perspectives including quality, authenticity, and correspondence. Then, based on the constructed AIGCIQA2023+ database, this paper presents a MINT-IQA model to evaluate and explain human preferences for AIGIs from Multi-perspectives with INstruction Tuning. Specifically, the MINT-IQA model first learn and evaluate human preferences for AI-generated Images from multi-perspectives, then via the vision-language instruction tuning strategy, MINT-IQA attains powerful understanding and explanation ability for human visual preference on AIGIs, which can be used for feedback to further improve the assessment capabilities. Extensive experimental results demonstrate that the proposed MINT-IQA model achieves state-of-the-art performance in understanding and evaluating human visual preferences for AIGIs, and the proposed model also achieves competing results on traditional IQA tasks compared with state-of-the-art IQA models. The AIGCIQA2023+ database and MINT-IQA model will be released to facilitate future research.
• Abstract（参考訳）: 人工知能生成コンテンツ(AIGC)は近年急速に成長しており、AIベースの画像生成は、その効率的で想像力のある画像生成能力によって広く注目を集めている。 しかし、AIGI(AI- generated Images)は、その独特の歪みのために人間の嗜好を満足させておらず、AIGIに対する人間の嗜好を理解し評価する必要性を強調している。 そこで本論文では,AIGIを対象とした画像品質評価(IQA)データベース,AIGCIQA2023+を構築し,人間の視覚的嗜好スコアと,品質,信頼性,対応性といった3つの視点から詳細な嗜好説明を提供する。 そして,構築したAIGCIQA2023+データベースをベースとして,インストラクションチューニングを用いたマルチパースペクティブからAIGIに対する人間の嗜好を評価・説明するためのMINT-IQAモデルを提案する。 具体的には、MINT-IQAモデルは、まず、マルチパースペクティブからAI生成画像に対する人間の嗜好を学習し、評価し、次に、視覚言語による指示チューニング戦略を通じて、AIGIに対する人間の視覚的嗜好に対する強力な理解と説明能力を得る。 MINT-IQAモデルはAIGIに対する人間の視覚的嗜好の理解と評価において最先端の性能を達成し,提案モデルは最先端IQAモデルと比較して従来のIQAタスクと競合する結果も得ることを示した。 AIGCIQA2023+データベースとMINT-IQAモデルは、将来の研究を促進するためにリリースされる。

関連論文リスト

• PKU-AIGIQA-4K: A Perceptual Quality Assessment Database for Both Text-to-Image and Image-to-Image AI-Generated Images [1.5265677582796984]
  我々はPKU-AIGIQA-4Kという名前のテキスト・ツー・イメージAIGIとイメージ・ツー・イメージAIGIの両方を対象とした大規模な知覚品質評価データベースを構築した。 本研究では,非参照法NR-AIGCIQA,フル参照法FR-AIGCIQA,部分参照法PR-AIGCIQAを含む事前学習モデルに基づく3つの画像品質評価手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T03:57:43Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• AIGIQA-20K: A Large Database for AI-Generated Image Quality Assessment [54.93996119324928]
  AIGIQA-20Kとして知られる2万のAIGIと420,000の主観評価を備えた、これまでで最大のAIGI主観的品質データベースを作成します。 このデータベース上でベンチマーク実験を行い、16の主流AIGI品質モデルと人間の知覚との対応性を評価する。
  論文  参考訳（メタデータ） (2024-04-04T12:12:24Z)
• AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
  我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。 3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。 我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-04-01T10:08:23Z)
• PKU-I2IQA: An Image-to-Image Quality Assessment Database for AI Generated Images [1.6031185986328562]
  我々はPKU-I2IQAという人間の知覚に基づく画像から画像へのAIGCIQAデータベースを構築した。 本研究では,非参照画像品質評価法に基づくNR-AIGCIQAとフル参照画像品質評価法に基づくFR-AIGCIQAの2つのベンチマークモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-27T05:53:03Z)
• AGIQA-3K: An Open Database for AI-Generated Image Quality Assessment [62.8834581626703]
  我々はこれまでに最も包括的な主観的品質データベース AGIQA-3K を構築している。 このデータベース上でベンチマーク実験を行い、現在の画像品質評価(IQA)モデルと人間の知覚との整合性を評価する。 我々は、AGIQA-3Kの微粒な主観的スコアが、その後のAGI品質モデルにヒトの主観的知覚機構に適合するよう促すと信じている。
  論文  参考訳（メタデータ） (2023-06-07T18:28:21Z)
• Perceptual Attacks of No-Reference Image Quality Models with Human-in-the-Loop [113.75573175709573]
  NR-IQAモデルの知覚的堅牢性を調べるための最初の試みの1つを行う。 我々は,4つの完全参照IQAモデルの下で,知識駆動のNR-IQA法とデータ駆動のNR-IQA法を検証した。 4つのNR-IQAモデルは全て、提案した知覚的攻撃に対して脆弱であることがわかった。
  論文  参考訳（メタデータ） (2022-10-03T13:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。