Fugu-MT 論文翻訳(概要): Advancing Zero-Shot Digital Human Quality Assessment through Text-Prompted Evaluation

論文の概要: Advancing Zero-Shot Digital Human Quality Assessment through Text-Prompted Evaluation

arxiv url: http://arxiv.org/abs/2307.02808v1
Date: Thu, 6 Jul 2023 06:55:30 GMT
ステータス: 処理完了
システム内更新日: 2023-07-07 14:52:43.671042
Title: Advancing Zero-Shot Digital Human Quality Assessment through Text-Prompted Evaluation
Title（参考訳）: テキストプロンプト評価によるゼロショットデジタル品質評価の改善
Authors: Zicheng Zhang, Wei Sun, Yingjie Zhou, Haoning Wu, Chunyi Li, Xiongkuo Min, Xiaohong Liu, Guangtao Zhai, Weisi Lin
Abstract要約: SJTU-H3Dは、フルボディのデジタル人間向けに設計された主観的品質評価データベースである。高品質なデジタル人間40人と、7種類の歪みで生成された1,120個のラベル付き歪曲した人物からなる。
参考スコア（独自算出の注目度）: 60.873105678086404
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Digital humans have witnessed extensive applications in various domains, necessitating related quality assessment studies. However, there is a lack of comprehensive digital human quality assessment (DHQA) databases. To address this gap, we propose SJTU-H3D, a subjective quality assessment database specifically designed for full-body digital humans. It comprises 40 high-quality reference digital humans and 1,120 labeled distorted counterparts generated with seven types of distortions. The SJTU-H3D database can serve as a benchmark for DHQA research, allowing evaluation and refinement of processing algorithms. Further, we propose a zero-shot DHQA approach that focuses on no-reference (NR) scenarios to ensure generalization capabilities while mitigating database bias. Our method leverages semantic and distortion features extracted from projections, as well as geometry features derived from the mesh structure of digital humans. Specifically, we employ the Contrastive Language-Image Pre-training (CLIP) model to measure semantic affinity and incorporate the Naturalness Image Quality Evaluator (NIQE) model to capture low-level distortion information. Additionally, we utilize dihedral angles as geometry descriptors to extract mesh features. By aggregating these measures, we introduce the Digital Human Quality Index (DHQI), which demonstrates significant improvements in zero-shot performance. The DHQI can also serve as a robust baseline for DHQA tasks, facilitating advancements in the field. The database and the code are available at https://github.com/zzc-1998/SJTU-H3D.
Abstract（参考訳）: デジタル人間は様々な領域で広範囲の応用を目撃し、関連する品質評価研究を必要としている。しかし、包括的なデジタル人間質評価(DHQA)データベースは存在しない。このギャップに対処するため,本研究では,全身デジタル人間を対象とした主観的品質評価データベースsjtu-h3dを提案する。 40人の高品質の基準デジタル人間と、1,120個のラベル付き歪みが7種類の歪みで生成される。 SJTU-H3DデータベースはDHQA研究のベンチマークとして機能し、処理アルゴリズムの評価と改善を可能にする。さらに、データベースバイアスを緩和しながら一般化機能を確保するため、ノン参照(NR)シナリオに焦点を当てたゼロショットDHQAアプローチを提案する。提案手法は,投影から抽出した意味的・歪み的特徴と,デジタル人間のメッシュ構造から抽出した幾何学的特徴を利用する。具体的には,コントラスト言語-画像事前学習(clip)モデルを用いて意味親和性を測定し,自然性画像品質評価器(niqe)モデルを用いて低レベルの歪み情報を取り込む。さらに,ディヘドラル角度を幾何ディスクリプタとしてメッシュ特徴を抽出する。これらの指標を集約することにより、ゼロショット性能の大幅な改善を示すDHQI(Digital Human Quality Index)を導入する。 DHQIはDHQAタスクの堅牢なベースラインとしても機能し、この分野の進歩を促進する。データベースとコードはhttps://github.com/zzc-1998/SJTU-H3Dで入手できる。

論文の概要: Advancing Zero-Shot Digital Human Quality Assessment through Text-Prompted Evaluation

関連論文リスト