論文の概要: F-Bench: Rethinking Human Preference Evaluation Metrics for Benchmarking Face Generation, Customization, and Restoration
- arxiv url: http://arxiv.org/abs/2412.13155v1
- Date: Tue, 17 Dec 2024 18:28:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:22.870364
- Title: F-Bench: Rethinking Human Preference Evaluation Metrics for Benchmarking Face Generation, Customization, and Restoration
- Title（参考訳）: F-Bench: 顔生成・カスタマイズ・復元のための評価基準の再考
- Authors: Lu Liu, Huiyu Duan, Qiang Hu, Liu Yang, Chunlei Cai, Tianxiao Ye, Huayu Liu, Xiaoyun Zhang, Guangtao Zhai,
- Abstract要約: 我々は、人間の好みを反映したきめ細かい品質アノテーションを備えたAI生成顔画像の大規模かつ包括的なデータベースFaceQを紹介する。
FaceQデータベースは、(1)顔生成、(2)顔のカスタマイズ、(3)顔の復元という3つのタスクで29のモデルで生成された12,255のイメージで構成されている。
180のアノテータから32,742の平均世論スコア(MOS)が含まれており、品質、信頼性、IDの忠実さ、テキスト画像の対応性など多岐にわたって評価されている。
- 参考スコア（独自算出の注目度）: 44.51237819287311
- License:
- Abstract: Artificial intelligence generative models exhibit remarkable capabilities in content creation, particularly in face image generation, customization, and restoration. However, current AI-generated faces (AIGFs) often fall short of human preferences due to unique distortions, unrealistic details, and unexpected identity shifts, underscoring the need for a comprehensive quality evaluation framework for AIGFs. To address this need, we introduce FaceQ, a large-scale, comprehensive database of AI-generated Face images with fine-grained Quality annotations reflecting human preferences. The FaceQ database comprises 12,255 images generated by 29 models across three tasks: (1) face generation, (2) face customization, and (3) face restoration. It includes 32,742 mean opinion scores (MOSs) from 180 annotators, assessed across multiple dimensions: quality, authenticity, identity (ID) fidelity, and text-image correspondence. Using the FaceQ database, we establish F-Bench, a benchmark for comparing and evaluating face generation, customization, and restoration models, highlighting strengths and weaknesses across various prompts and evaluation dimensions. Additionally, we assess the performance of existing image quality assessment (IQA), face quality assessment (FQA), AI-generated content image quality assessment (AIGCIQA), and preference evaluation metrics, manifesting that these standard metrics are relatively ineffective in evaluating authenticity, ID fidelity, and text-image correspondence. The FaceQ database will be publicly available upon publication.
- Abstract（参考訳）: 人工知能生成モデルは、特に顔画像の生成、カスタマイズ、復元において、コンテンツ生成において顕著な能力を示す。
しかしながら、現在のAI生成顔(AIGF)は、独特の歪み、非現実的な詳細、予期せぬアイデンティティシフトにより、人間の好みに欠けることが多く、AIGFの包括的な品質評価フレームワークの必要性が強調されている。
このニーズに対処するために、人間の好みを反映したきめ細かい品質アノテーションを備えたAI生成顔画像の大規模かつ包括的なデータベースFaceQを紹介する。
FaceQデータベースは、(1)顔生成、(2)顔のカスタマイズ、(3)顔の復元という3つのタスクで29のモデルで生成された12,255のイメージで構成されている。
180のアノテータから32,742の平均世論スコア(MOS)が含まれており、品質、信頼性、IDの忠実さ、テキスト画像の対応性など多岐にわたって評価されている。
FaceQデータベースを用いて、顔生成、カスタマイズ、復元モデルの比較と評価を行うベンチマークF-Benchを構築し、様々なプロンプトと評価次元の強さと弱点を強調した。
さらに、既存の画像品質評価(IQA)、顔品質評価(FQA)、AIGCIQA(AIGCIQA)、嗜好評価指標の評価を行い、これらの基準指標が認証、IDの忠実度、テキスト画像対応性を評価する上で比較的有効でないことを示した。
FaceQデータベースは公開時に公開される。
関連論文リスト
- Rank-based No-reference Quality Assessment for Face Swapping [88.53827937914038]
顔スワップ法における品質測定の基準は、操作された画像とソース画像の間のいくつかの距離に依存する。
顔スワップ用に設計された新しい非参照画像品質評価法(NR-IQA)を提案する。
論文 参考訳（メタデータ） (2024-06-04T01:36:29Z) - Holistic Evaluation of Text-To-Image Models [153.47415461488097]
我々はテキスト・ツー・イメージ・モデル(HEIM)の全体的評価という新しいベンチマークを導入する。
テキスト・イメージ・アライメント、画像品質、美学、独創性、推論、知識、バイアス、毒性、公正性、堅牢性、多言語性、効率性を含む12の側面を識別する。
以上の結果から,異なるモデルが異なる強みを示すことにより,すべての面において単一のモデルが優れているものはないことが明らかとなった。
論文 参考訳（メタデータ） (2023-11-07T19:00:56Z) - Advancing Zero-Shot Digital Human Quality Assessment through
Text-Prompted Evaluation [60.873105678086404]
SJTU-H3Dは、フルボディのデジタル人間向けに設計された主観的品質評価データベースである。
高品質なデジタル人間40人と、7種類の歪みで生成された1,120個のラベル付き歪曲した人物からなる。
論文 参考訳（メタデータ） (2023-07-06T06:55:30Z) - AIGCIQA2023: A Large-scale Image Quality Assessment Database for AI
Generated Images: from the Perspectives of Quality, Authenticity and
Correspondence [42.85549933048976]
100プロンプトを用いて6つの最先端テキスト画像生成モデルに基づいて2000以上の画像を生成する。
これらの画像に基づいて、各画像に対する人間の視覚的嗜好を3つの視点から評価する主観的な実験を行った。
構築したデータベース上で,いくつかの最先端IQAメトリクスの性能を評価するためのベンチマーク実験を行った。
論文 参考訳（メタデータ） (2023-07-01T03:30:31Z) - AGIQA-3K: An Open Database for AI-Generated Image Quality Assessment [62.8834581626703]
我々はこれまでに最も包括的な主観的品質データベース AGIQA-3K を構築している。
このデータベース上でベンチマーク実験を行い、現在の画像品質評価(IQA)モデルと人間の知覚との整合性を評価する。
我々は、AGIQA-3Kの微粒な主観的スコアが、その後のAGI品質モデルにヒトの主観的知覚機構に適合するよう促すと信じている。
論文 参考訳（メタデータ） (2023-06-07T18:28:21Z) - IFQA: Interpretable Face Quality Assessment [23.34924105158927]
本稿では, 顔の復元を模擬し, 識別器が画質を評価する, 対向的な枠組みに基づく新しい顔中心距離法を提案する。
我々の測定基準は、既存の一般または顔の画質評価基準を印象的なマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2022-11-14T03:04:38Z) - Going the Extra Mile in Face Image Quality Assessment: A Novel Database
and Model [42.05084438912876]
現在までに開発された最大のアノテートIQAデータベースについて紹介する。
本稿では,顔画像の品質を正確に予測する新しいディープラーニングモデルを提案する。
論文 参考訳（メタデータ） (2022-07-11T14:28:18Z) - FaceQgen: Semi-Supervised Deep Learning for Face Image Quality
Assessment [19.928262020265965]
FaceQgenは、ジェネレーティブ・アドバイサル・ネットワークに基づく顔画像の非参照品質評価手法である。
顔認識精度に関連するスカラー品質尺度を生成する。
SCfaceデータベースを使用して、スクラッチからトレーニングされる。
論文 参考訳（メタデータ） (2022-01-03T17:22:38Z) - FaceQvec: Vector Quality Assessment for Face Biometrics based on ISO
Compliance [15.913755899679733]
FaceQvecは、ISO/IEC 19794-5で実証された各点で顔画像の整合性を推定するソフトウェアコンポーネントである。
この品質基準は、パスポートやIDカードなどの公式文書での使用を許容または受け入れがたい顔画像の一般的な品質ガイドラインを定義している。
論文 参考訳（メタデータ） (2021-11-03T09:07:41Z) - Inducing Predictive Uncertainty Estimation for Face Recognition [102.58180557181643]
顔画像の「マッドペア」から画像品質訓練データを自動的に生成する手法を提案する。
生成したデータを用いて、顔画像の信頼度を推定するために、PCNetと呼ばれる軽量な予測信頼ネットワークを訓練する。
論文 参考訳（メタデータ） (2020-09-01T17:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。