論文の概要: Human-Activity AGV Quality Assessment: A Benchmark Dataset and an Objective Evaluation Metric

• arxiv url: http://arxiv.org/abs/2411.16619v1
• Date: Mon, 25 Nov 2024 17:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:20:12.285064
• Title: Human-Activity AGV Quality Assessment: A Benchmark Dataset and an Objective Evaluation Metric
• Title（参考訳）: ヒト活動AGVの品質評価:ベンチマークデータセットと客観的評価基準
• Authors: Zhichao Zhang, Wei Sun, Xinyue Li, Yunhao Li, Qihang Ge, Jun Jia, Zicheng Zhang, Zhongpeng Ji, Fengyu Sun, Shangling Jui, Xiongkuo Min, Guangtao Zhai,
• Abstract要約: 我々は人間活動型AI生成ビデオ(AGV)の先駆的な研究を行っている。 視覚的品質評価と意味歪みの同定に焦点をあてる。 我々は,人間活動AGVの質を自動解析するために,AI生成人活動ビデオ品質指標(GHVQ)という客観的評価指標を開発した。
• 参考スコア（独自算出の注目度）: 56.73624246192218
• License:
• Abstract: AI-driven video generation techniques have made significant progress in recent years. However, AI-generated videos (AGVs) involving human activities often exhibit substantial visual and semantic distortions, hindering the practical application of video generation technologies in real-world scenarios. To address this challenge, we conduct a pioneering study on human activity AGV quality assessment, focusing on visual quality evaluation and the identification of semantic distortions. First, we construct the AI-Generated Human activity Video Quality Assessment (Human-AGVQA) dataset, consisting of 3,200 AGVs derived from 8 popular text-to-video (T2V) models using 400 text prompts that describe diverse human activities. We conduct a subjective study to evaluate the human appearance quality, action continuity quality, and overall video quality of AGVs, and identify semantic issues of human body parts. Based on Human-AGVQA, we benchmark the performance of T2V models and analyze their strengths and weaknesses in generating different categories of human activities. Second, we develop an objective evaluation metric, named AI-Generated Human activity Video Quality metric (GHVQ), to automatically analyze the quality of human activity AGVs. GHVQ systematically extracts human-focused quality features, AI-generated content-aware quality features, and temporal continuity features, making it a comprehensive and explainable quality metric for human activity AGVs. The extensive experimental results show that GHVQ outperforms existing quality metrics on the Human-AGVQA dataset by a large margin, demonstrating its efficacy in assessing the quality of human activity AGVs. The Human-AGVQA dataset and GHVQ metric will be released in public at https://github.com/zczhang-sjtu/GHVQ.git
• Abstract（参考訳）: AI駆動のビデオ生成技術は近年大きな進歩を遂げている。 しかしながら、人間の活動を含むAI生成ビデオ(AGV)は、しばしば視覚的および意味的な歪みを示し、現実のシナリオにおけるビデオ生成技術の実践的応用を妨げる。 この課題に対処するために、視覚的品質評価と意味的歪みの同定に焦点を当て、人間の活動AGV品質評価の先駆的な研究を行う。 まず、多種多様な人間の活動を記述した400のテキストプロンプトを用いて、一般的な8つのテキスト・ツー・ビデオ(T2V)モデルから3,200AGVのAI生成されたビデオ品質評価(Human-AGVQA)データセットを構築した。 本研究は,AGVの外観品質,動作継続性,映像品質を主観的に評価し,人体部分の意味的問題を同定する。 我々は,Human-AGVQAに基づいて,T2Vモデルの性能をベンチマークし,その強みと弱点を分析した。 第2に、人間の活動AGVの質を自動解析する客観的評価尺度、AI-Generated Human Activity Video Quality Metrics (GHVQ) を開発した。 GHVQは、人間中心の品質特徴、AI生成コンテンツ認識品質特徴、時間的連続性特徴を体系的に抽出し、人間活動AGVの包括的かつ説明可能な品質指標となる。 GHVQはHuman-AGVQAデータセットの既存の品質指標を大きなマージンで上回り、人間の活動AGVの質を評価する効果を示す。 Human-AGVQAデータセットとGHVQメトリックはhttps://github.com/zczhang-sjtu/GHVQ.gitで公開される。

関連論文リスト

• Video Quality Assessment: A Comprehensive Survey [55.734935003021576]
  映像品質評価(VQA)は,映像の品質を知覚された品質の人間の判断と整合した方法で予測することを目的とした,重要な処理課題である。 本稿では,VQAアルゴリズムの開発における最近の進歩と,それらを実現するためのベンチマーク研究とデータベースについて述べる。
  論文  参考訳（メタデータ） (2024-12-04T05:25:17Z)
• OpenHumanVid: A Large-Scale High-Quality Dataset for Enhancing Human-Centric Video Generation [27.516068877910254]
  大規模で高品質な人中心ビデオデータセットOpenHumanVidを紹介する。 まず、大規模で高品質なデータセットを組み込むことによって、生成された人間のビデオの評価基準を大幅に強化する。 第二に、高品質のビデオ出力を生成するためには、人間の外見、人間の動き、顔の動きとテキストの効果的なアライメントが不可欠である。
  論文  参考訳（メタデータ） (2024-11-28T07:01:06Z)
• AIGV-Assessor: Benchmarking and Evaluating the Perceptual Quality of Text-to-Video Generation with LMM [54.44479359918971]
  AIGVQA-DBは,1,048プロンプトを用いた15の高度なテキスト・ビデオ・モデルによって生成された36,576個のAIGVからなる大規模データセットである。 AIGV-Assessorは、複雑な品質特性を活用して、正確なビデオ品質スコアとペアビデオ嗜好をキャプチャする新しいVQAモデルである。
  論文  参考訳（メタデータ） (2024-11-26T08:43:15Z)
• VQA$^2$: Visual Question Answering for Video Quality Assessment [76.81110038738699]
  ビデオ品質アセスメント(VQA)は、低レベルの視覚知覚において古典的な分野である。 画像領域における最近の研究は、視覚質問応答(VQA)が視覚的品質を著しく低レベルに評価できることを示した。 VQA2インストラクションデータセットは,ビデオ品質評価に焦点をあてた最初の視覚的質問応答インストラクションデータセットである。 VQA2シリーズは、ビデオにおける空間的時間的品質の詳細の知覚を高めるために、視覚的および運動的トークンをインターリーブする。
  論文  参考訳（メタデータ） (2024-11-06T09:39:52Z)
• Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model [56.03592388332793]
  主観的・客観的な品質評価の観点からAIGC-VQA問題を考察する。 主観的観点からは,2,808本のAIGCビデオからなる大規模映像品質評価(LGVQ)データセットを構築した。 我々は,AIGCビデオの知覚的品質を,空間的品質,時間的品質,テキスト・ビデオアライメントの3つの重要な次元から評価した。 本稿では,AIGCビデオの多次元品質を正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-31T07:54:26Z)
• GAIA: Rethinking Action Quality Assessment for AI-Generated Videos [56.047773400426486]
  アクション品質アセスメント(AQA)アルゴリズムは、主に実際の特定のシナリオからのアクションに焦点を当て、規範的なアクション機能で事前訓練されている。 我々は,新たな因果推論の観点から大規模主観評価を行うことにより,GAIAを構築した。 その結果、従来のAQA手法、最近のT2Vベンチマークにおけるアクション関連指標、メインストリームビデオ品質手法は、それぞれ0.454、0.191、0.519のSRCCで性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2024-06-10T08:18:07Z)
• A Survey of Video-based Action Quality Assessment [6.654914040895586]
  行動品質評価モデルは、行動評価に費やされた人的・物質的資源を減らし、主観性を低下させる。 現存する作品の多くはスポーツと医療に重点を置いている。
  論文  参考訳（メタデータ） (2022-04-20T07:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。