論文の概要: VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality Evaluation
- arxiv url: http://arxiv.org/abs/2604.10127v1
- Date: Sat, 11 Apr 2026 09:44:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:15.860265
- Title: VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality Evaluation
- Title(参考訳): VGA-Bench: ビデオ美学と生成品質評価のための統一ベンチマークとマルチモデルフレームワーク
- Authors: Longteng Jiang, DanDan Zheng, Qianqian Qiao, Heng Huang, Huaye Wang, Yihang Bo, Bao Peng, Jingdong Chen, Jun Zhou, Xin Jin,
- Abstract要約: VGA-Benchは、ビデオ生成の品質と美的品質を評価するための統一されたベンチマークである。
我々は1016の多様なプロンプトを設計し、12のビデオ生成モデルを用いて6万以上のビデオの大規模データセットを生成する。
我々のモデルは人間の判断と信頼できる一致を実現し、精度と効率の両方を提供する。
- 参考スコア(独自算出の注目度): 65.0648741395158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of AIGC-based video generation has underscored the critical need for comprehensive evaluation frameworks that go beyond traditional generation quality metrics to encompass aesthetic appeal. However, existing benchmarks remain largely focused on technical fidelity, leaving a significant gap in holistic assessment-particularly with respect to perceptual and artistic qualities. To address this limitation, we introduce VGA-Bench, a unified benchmark for joint evaluation of video generation quality and aesthetic quality. VGA-Bench is built upon a principled three-tier taxonomy: Aesthetic Quality, Aesthetic Tagging, and Generation Quality, each decomposed into multiple fine-grained sub-dimensions to enable systematic assessment. Guided by this taxonomy, we design 1,016 diverse prompts and generate a large-scale dataset of over 60,000 videos using 12 video generation models, ensuring broad coverage across content, style, and artifacts. To enable scalable and automated evaluation, we annotate a subset of the dataset via human labeling and develop three dedicated multi-task neural assessors: VAQA-Net for aesthetic quality prediction, VTag-Net for automatic aesthetic tagging, and VGQA-Net for generation and basic quality attributes. Extensive experiments demonstrate that our models achieve reliable alignment with human judgments, offering both accuracy and efficiency. We release VGA-Bench as a public benchmark to foster research in AIGC evaluation, with applications in content moderation, model debugging, and generative model optimization.
- Abstract(参考訳): AIGCベースのビデオ生成の急速な進歩は、美的魅力を包含する従来の世代品質指標を超える包括的な評価フレームワークの必要性を強調している。
しかし、既存のベンチマークは主に技術的忠実さに重点を置いており、特に知覚的・芸術的品質に関して、総合的な評価において大きなギャップを残している。
この制限に対処するために、ビデオ生成品質と美的品質の合同評価のための統合ベンチマークであるVGA-Benchを紹介する。
VGA-Benchは、美的品質、美的タグ付け、生成品質という3段階の原則に基づく分類に基づいており、それぞれを複数のきめ細かなサブディメンジョンに分解して、体系的な評価を可能にする。
この分類法により、我々は1,016の多様なプロンプトを設計し、12のビデオ生成モデルを使用して6万以上のビデオの大規模なデータセットを生成し、コンテンツ、スタイル、アーティファクトの幅広い範囲を確実にする。
スケーラブルで自動的な評価を可能にするため、人間のラベル付けによりデータセットのサブセットに注釈を付け、美的品質予測のためのVAQA-Net、自動美的タグ付けのためのVTag-Net、生成および基本的品質属性のためのVGQA-Netという3つの専用マルチタスクニューラルネットワークアセスメントを開発する。
大規模な実験により、我々のモデルは人間の判断と信頼性の高い一致を実現し、精度と効率の両方を提供することが示された。
我々は、コンテンツモデレーション、モデルデバッギング、生成モデル最適化など、AIGC評価の研究を促進するための公開ベンチマークとしてVGA-Benchをリリースした。
関連論文リスト
- Q-Save: Towards Scoring and Attribution for Generated Video Evaluation [65.83319736145869]
本稿では,AIGV品質の総合評価のためのベンチマークデータセットとモデルであるQ-Saveを紹介する。
データセットには10000近いビデオが含まれており、それぞれにスカラー平均評価スコア(MOS)と微粒な属性ラベルが付与されている。
品質評価と属性に基づく説明を共同で行う統一評価モデルを提案する。
論文 参考訳(メタデータ) (2025-11-24T07:00:21Z) - CAMP-VQA: Caption-Embedded Multimodal Perception for No-Reference Quality Assessment of Compressed Video [9.172799792564009]
本稿では,大規模モデルの意味理解機能を活用した新しいNR-VQAフレームワークであるCAMP-VQAを提案する。
本手法では,フレーム間変動から抽出したキーフラグメントを統合する品質対応ビデオメタデータ機構を提案する。
我々のモデルは既存のNR-VQA法を一貫して上回り、手作業の細かいアノテーションを使わずに精度の向上を実現している。
論文 参考訳(メタデータ) (2025-11-10T16:37:47Z) - AIGVE-Tool: AI-Generated Video Evaluation Toolkit with Multifaceted Benchmark [8.827755848017578]
既存のメトリクスには、方法論を体系的に分類するための統一されたフレームワークがない。
AI生成ビデオ評価のための構造化分類と評価パイプラインを提供する統合フレームワークであるAIGVE-Toolを紹介する。
大規模なベンチマークデータセットは、手作りの指示とプロンプトに基づいて、5つのSOTAビデオ生成モデルで作成される。
論文 参考訳(メタデータ) (2025-03-18T09:36:33Z) - Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model [56.03592388332793]
主観的・客観的な品質評価の観点からAIGC-VQA問題を考察する。
主観的観点からは,2,808本のAIGCビデオからなる大規模映像品質評価(LGVQ)データセットを構築した。
我々は,AIGCビデオの知覚的品質を,空間的品質,時間的品質,テキスト・ビデオアライメントの3つの重要な次元から評価した。
本稿では,AIGCビデオの多次元品質を正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
論文 参考訳(メタデータ) (2024-07-31T07:54:26Z) - EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。
我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。
そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文 参考訳(メタデータ) (2023-10-17T17:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。