論文の概要: Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model
- arxiv url: http://arxiv.org/abs/2407.21408v2
- Date: Thu, 26 Dec 2024 03:21:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:22:22.180591
- Title: Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model
- Title（参考訳）: 多次元AIGCビデオ品質評価のベンチマーク:データセットと統一モデル
- Authors: Zhichao Zhang, Wei Sun, Xinyue Li, Jun Jia, Xiongkuo Min, Zicheng Zhang, Chunyi Li, Zijian Chen, Puyi Wang, Fengyu Sun, Shangling Jui, Guangtao Zhai,
- Abstract要約: 主観的・客観的な品質評価の観点からAIGC-VQA問題を考察する。
主観的観点からは,2,808本のAIGCビデオからなる大規模映像品質評価(LGVQ)データセットを構築した。
我々は,AIGCビデオの知覚的品質を,空間的品質,時間的品質,テキスト・ビデオアライメントの3つの重要な次元から評価した。
本稿では,AIGCビデオの多次元品質を正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
- 参考スコア（独自算出の注目度）: 56.03592388332793
- License:
- Abstract: In recent years, artificial intelligence (AI)-driven video generation has gained significant attention. Consequently, there is a growing need for accurate video quality assessment (VQA) metrics to evaluate the perceptual quality of AI-generated content (AIGC) videos and optimize video generation models. However, assessing the quality of AIGC videos remains a significant challenge because these videos often exhibit highly complex distortions, such as unnatural actions and irrational objects. To address this challenge, we systematically investigate the AIGC-VQA problem, considering both subjective and objective quality assessment perspectives. For the subjective perspective, we construct the Large-scale Generated Video Quality assessment (LGVQ) dataset, consisting of 2,808 AIGC videos generated by 6 video generation models using 468 carefully curated text prompts. We evaluate the perceptual quality of AIGC videos from three critical dimensions: spatial quality, temporal quality, and text-video alignment. For the objective perspective, we establish a benchmark for evaluating existing quality assessment metrics on the LGVQ dataset. Our findings show that current metrics perform poorly on this dataset, highlighting a gap in effective evaluation tools. To bridge this gap, we propose the Unify Generated Video Quality assessment (UGVQ) model, designed to accurately evaluate the multi-dimensional quality of AIGC videos. The UGVQ model integrates the visual and motion features of videos with the textual features of their corresponding prompts, forming a unified quality-aware feature representation tailored to AIGC videos. Experimental results demonstrate that UGVQ achieves state-of-the-art performance on the LGVQ dataset across all three quality dimensions. Both the LGVQ dataset and the UGVQ model are publicly available on https://github.com/zczhang-sjtu/UGVQ.git.
- Abstract（参考訳）: 近年,人工知能(AI)による映像生成が注目されている。
その結果、AIGC(AIGC)ビデオの知覚品質を評価し、ビデオ生成モデルを最適化するために、正確なビデオ品質評価(VQA)メトリクスの必要性が高まっている。
しかし、AIGCビデオの品質を評価することは、不自然な動作や不合理な物体など、非常に複雑な歪みを示すことが多いため、大きな課題である。
この課題に対処するために、主観的および客観的品質評価の観点からAIGC-VQA問題を体系的に検討する。
主観的な視点では,468個の慎重にキュレートされたテキストプロンプトを用いて6つのビデオ生成モデルによって生成された2,808個のAIGCビデオからなる大規模映像品質評価(LGVQ)データセットを構築した。
我々は,AIGCビデオの知覚的品質を,空間的品質,時間的品質,テキスト・ビデオアライメントの3つの重要な次元から評価した。
目的として,LGVQデータセット上の既存の品質評価指標を評価するためのベンチマークを確立する。
以上の結果から,このデータセットでは現在の指標が不十分であることが示唆され,効果的な評価ツールのギャップが浮き彫りになった。
このギャップを埋めるために,AIGCビデオの多次元品質を正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
UGVQモデルは、ビデオの視覚的特徴と運動的特徴と、対応するプロンプトのテキスト的特徴を統合し、AIGCビデオに合わせた品質認識機能表現を統一する。
実験結果から,UGVQはLGVQデータセット上で3つの品質次元すべてで最先端の性能を達成することが示された。
LGVQデータセットとUGVQモデルの両方がhttps://github.com/zczhang-sjtu/UGVQ.gitで公開されている。
関連論文リスト
- AIGV-Assessor: Benchmarking and Evaluating the Perceptual Quality of Text-to-Video Generation with LMM [54.44479359918971]
AIGVQA-DBは,1,048プロンプトを用いた15の高度なテキスト・ビデオ・モデルによって生成された36,576個のAIGVからなる大規模データセットである。
AIGV-Assessorは、複雑な品質特性を活用して、正確なビデオ品質スコアとペアビデオ嗜好をキャプチャする新しいVQAモデルである。
論文 参考訳（メタデータ） (2024-11-26T08:43:15Z) - VQA$^2$: Visual Question Answering for Video Quality Assessment [76.81110038738699]
ビデオ品質アセスメント(VQA)は、低レベルの視覚知覚において古典的な分野である。
画像領域における最近の研究は、視覚質問応答(VQA)が視覚的品質を著しく低レベルに評価できることを示した。
VQA2インストラクションデータセットは,ビデオ品質評価に焦点をあてた最初の視覚的質問応答インストラクションデータセットである。
VQA2シリーズは、ビデオにおける空間的時間的品質の詳細の知覚を高めるために、視覚的および運動的トークンをインターリーブする。
論文 参考訳（メタデータ） (2024-11-06T09:39:52Z) - Quality Prediction of AI Generated Images and Videos: Emerging Trends and Opportunities [32.03360188710995]
AIが生成し、拡張されたコンテンツは、視覚的に正確で、意図された使用に固執し、高い視覚的品質を維持する必要がある。
AI生成および強化されたコンテンツの視覚的“品質”を監視し制御するひとつの方法は、画像品質アセスメント(IQA)とビデオ品質アセスメント(VQA)モデルをデプロイすることである。
本稿では,AIが生成・拡張した画像・映像コンテンツによる現状の問題点と可能性について検討する。
論文 参考訳（メタデータ） (2024-10-11T05:08:44Z) - Advancing Video Quality Assessment for AIGC [17.23281750562252]
本稿では,平均絶対誤差とクロスエントロピー損失を組み合わせ,フレーム間品質の不整合を緩和する新たな損失関数を提案する。
また,モデルの一般化能力を高めるために,敵対的トレーニングを活用しながら,重要なコンテンツを維持するために革新的なS2CNet技術を導入する。
論文 参考訳（メタデータ） (2024-09-23T10:36:22Z) - Exploring AIGC Video Quality: A Focus on Visual Harmony, Video-Text Consistency and Domain Distribution Gap [4.922783970210658]
我々は,AIGC映像品質の評価を,視覚調和,映像テキストの整合性,領域分布ギャップの3次元に分類した。
各次元に対して、AIGCビデオの総合的な品質評価を提供するための特定のモジュールを設計する。
本研究は,異なるテキスト・ツー・ビデオ・モデルにより生成される映像の視覚的品質,流動性,スタイルの有意な変化を明らかにする。
論文 参考訳（メタデータ） (2024-04-21T08:27:20Z) - Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment [54.00254267259069]
現在までに最大規模のテキスト・ビデオ品質評価データベース(T2VQA-DB)を構築している。
データセットは、9つの異なるT2Vモデルによって生成される1万のビデオで構成されている。
主観的テキスト・ビデオ品質評価(T2VQA)のためのトランスフォーマーに基づく新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-03-18T16:52:49Z) - Perceptual Video Quality Assessment: A Survey [63.61214597655413]
映像品質評価は,映像処理分野において重要な役割を担っている。
過去20年間に様々な主観的・客観的な映像品質評価研究が実施されてきた。
この調査は、これらのビデオ品質アセスメント研究の最新かつ包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-02-05T16:13:52Z) - UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated
Content [59.13821614689478]
コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。
ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。
先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。
我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2020-05-29T00:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。