論文の概要: TIER: Text-Image Encoder-based Regression for AIGC Image Quality Assessment

• arxiv url: http://arxiv.org/abs/2401.03854v2
• Date: Thu, 11 Jan 2024 08:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 11:15:17.664493
• Title: TIER: Text-Image Encoder-based Regression for AIGC Image Quality Assessment
• Title（参考訳）: TIER:AIGC画像品質評価のためのテキストエンコーダに基づく回帰
• Authors: Jiquan Yuan, Xinyan Cao, Jinming Che, Qinyuan Wang, Sen Liang, Wei Ren, Jinlong Lin, Xixin Cao
• Abstract要約: AIGCIQAタスクでは、画像は通常、テキストプロンプトを使用して生成モデルによって生成される。 既存のAIGCIQAメソッドのほとんどは、個々の生成された画像から直接予測されたスコアを回帰する。 本稿では,テキスト画像エンコーダに基づく回帰(TIER)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.59079758388817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, AIGC image quality assessment (AIGCIQA), which aims to assess the quality of AI-generated images (AIGIs) from a human perception perspective, has emerged as a new topic in computer vision. Unlike common image quality assessment tasks where images are derived from original ones distorted by noise, blur, and compression, \textit{etc.}, in AIGCIQA tasks, images are typically generated by generative models using text prompts. Considerable efforts have been made in the past years to advance AIGCIQA. However, most existing AIGCIQA methods regress predicted scores directly from individual generated images, overlooking the information contained in the text prompts of these images. This oversight partially limits the performance of these AIGCIQA methods. To address this issue, we propose a text-image encoder-based regression (TIER) framework. Specifically, we process the generated images and their corresponding text prompts as inputs, utilizing a text encoder and an image encoder to extract features from these text prompts and generated images, respectively. To demonstrate the effectiveness of our proposed TIER method, we conduct extensive experiments on several mainstream AIGCIQA databases, including AGIQA-1K, AGIQA-3K, and AIGCIQA2023. The experimental results indicate that our proposed TIER method generally demonstrates superior performance compared to baseline in most cases.
• Abstract（参考訳）: 近年,人間知覚の観点からai生成画像(aigis)の品質評価を目的としたaigc画像品質アセスメント(aigciqa)が,コンピュータビジョンの新しいトピックとして登場した。 画像がノイズ、ぼやけ、圧縮によって歪められたオリジナル画像から派生する一般的な画質評価タスクとは異なり、\textit{etc。 AIGCIQAタスクでは、画像は通常、テキストプロンプトを使用して生成モデルによって生成される。 近年,AIGCIQAの推進に向けた重要な取り組みが行われている。 しかし、既存のほとんどのAIGCIQAメソッドは、予測されたスコアを直接生成した画像から取り除き、これらの画像のテキストプロンプトに含まれる情報を見渡す。 この監視はAIGCIQA法の性能を部分的に制限する。 この問題に対処するため,テキスト画像エンコーダに基づく回帰(TIER)フレームワークを提案する。 具体的には、生成された画像と対応するテキストプロンプトを入力として処理し、テキストエンコーダと画像エンコーダを用いて、これらのテキストプロンプトと生成された画像から特徴を抽出する。 提案手法の有効性を実証するため, AGIQA-1K, AGIQA-3K, AIGCIQA2023 など,いくつかの主要なAIGCIQAデータベース上で実験を行った。 実験結果から,提案手法は一般にベースラインよりも優れた性能を示すことが示唆された。

関連論文リスト

• A Sanity Check for AI-generated Image Detection [49.08585395873425]
  本稿では,AIによる画像検出の課題が解決されたかどうかの検査を行う。 既存の手法の一般化を定量化するために,Chameleonデータセット上で,既製のAI生成画像検出器を9つ評価した。 複数の専門家が同時に視覚的アーチファクトやノイズパターンを抽出するAI生成画像検出装置(AID)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T17:59:49Z)
• Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment [57.07360640784803]
  視覚言語による多モーダル・プロンプト学習による画像品質評価(AGIQA)を提案する。 具体的には、コントラスト言語-画像事前学習(CLIP)モデルの言語と視覚の分岐に学習可能なテキストと視覚的プロンプトを導入する。 我々は、上記のマルチモーダルプロンプトの最適化を導くために、学習された視覚言語一貫性の知識を用いて、テキストから画像へのアライメント品質予測タスクを設計する。
  論文  参考訳（メタデータ） (2024-06-24T13:45:31Z)
• RIGID: A Training-free and Model-Agnostic Framework for Robust AI-Generated Image Detection [60.960988614701414]
  RIGIDは、堅牢なAI生成画像検出のためのトレーニング不要でモデルに依存しない方法である。 RIGIDは、既存のトレーニングベースおよびトレーニング不要な検出器を著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-30T14:49:54Z)
• Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning [58.41087653543607]
  我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。 本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-12T17:45:11Z)
• PKU-AIGIQA-4K: A Perceptual Quality Assessment Database for Both Text-to-Image and Image-to-Image AI-Generated Images [1.5265677582796984]
  我々はPKU-AIGIQA-4Kという名前のテキスト・ツー・イメージAIGIとイメージ・ツー・イメージAIGIの両方を対象とした大規模な知覚品質評価データベースを構築した。 本研究では,非参照法NR-AIGCIQA,フル参照法FR-AIGCIQA,部分参照法PR-AIGCIQAを含む事前学習モデルに基づく3つの画像品質評価手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T03:57:43Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
  我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。 3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。 我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-04-01T10:08:23Z)
• PSCR: Patches Sampling-based Contrastive Regression for AIGC Image Quality Assessment [1.1744028458220428]
  本稿では,様々な画像の差を利用した表現空間の学習のためのコントラスト回帰フレームワークを提案する。 我々は、AGIQA-1K、AGIQA-3K、AIGCIQA2023を含む3つの主要なAIGCIQAデータベースについて広範な実験を行った。 その結果,提案したPSCRフレームワークの導入により,モデル性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-12-10T14:18:53Z)
• PKU-I2IQA: An Image-to-Image Quality Assessment Database for AI Generated Images [1.6031185986328562]
  我々はPKU-I2IQAという人間の知覚に基づく画像から画像へのAIGCIQAデータベースを構築した。 本研究では,非参照画像品質評価法に基づくNR-AIGCIQAとフル参照画像品質評価法に基づくFR-AIGCIQAの2つのベンチマークモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-27T05:53:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。