論文の概要: Beyond Source Prompts: Towards Visually Grounded AI-Generated Video Quality Assessment
- arxiv url: http://arxiv.org/abs/2610.21758v1
- Date: Thu, 15 Oct 2026 12:15:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.061866
- Title: Beyond Source Prompts: Towards Visually Grounded AI-Generated Video Quality Assessment
- Title（参考訳）: ソースプロンプトを超えて:AIによる映像品質評価を視覚的に構築する
- Abstract要約: VGCapはAIGVの品質評価フレームワークで、視覚的に接地されたキャプションによって導かれる。
LGVQとFETVデータセットの実験結果から、VGCapは3次元すべてで代表的ベースラインを上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 17.660196273698755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in generative artificial intelligence have accelerated video generation technologies. However, AI-generated videos (AIGVs) remain susceptible to various distortions, highlighting the need for dedicated video quality assessment methods. Content semantics play an important role in AIGV quality assessment, with source prompts typically used as textual references. However, these prompts may not accurately reflect the generated video content, resulting in a discrepancy between the intended textual description and the generated result. To address this limitation, this paper proposes VGCap, an AIGV quality assessment framework guided by visually grounded captions that align better with generated content. Specifically, we introduce two forms of captions: a global caption obtained by minimally revising the source prompt based on multi-frame visual evidence, and prompt-independent segment captions that describe localized temporal content. Together, these captions provide complementary textual evidence for assessing spatial quality, temporal quality, and text-video alignment. Experimental results on the LGVQ and FETV datasets show that VGCap outperforms representative baselines across all three dimensions. Further ablation studies on caption sources and temporal components confirm the effectiveness of visually grounded captions for each quality dimension, while highlighting the benefits of segment-level features for temporal quality prediction. The source of VGCap will be available at https://github.com/lolo123-123/VGCap.
- Abstract（参考訳）: 生成人工知能の最近の進歩は、映像生成技術を加速させてきた。
しかし、AI生成ビデオ(AIGVs)は、様々な歪みの影響を受け、専用のビデオ品質評価方法の必要性を強調している。
コンテンツセマンティクスはAIGVの品質評価において重要な役割を果たす。
しかし、これらのプロンプトは生成した映像内容を正確に反映していないため、意図したテキスト記述と生成された結果との相違が生じる可能性がある。
この制限に対処するために,視覚的に接地した字幕で案内されるAIGV品質評価フレームワークであるVGCapを提案する。
具体的には、複数フレームの視覚的証拠に基づいてソースプロンプトを最小限に修正したグローバルキャプションと、局所化された時間的内容を記述するプロンプト非依存のセグメントキャプションの2つの形態を紹介する。
これらのキャプションは、空間的品質、時間的品質、およびテキスト・ビデオアライメントを評価するための補完的なテキスト証拠を提供する。
LGVQとFETVデータセットの実験結果から、VGCapは3次元すべてで代表的ベースラインを上回っていることがわかった。
キャプションソースおよび時間成分に関するさらなるアブレーション研究は、時間的品質予測のためのセグメントレベルの特徴の利点を強調しながら、各品質次元に対して視覚的に接地されたキャプションの有効性を確認した。
VGCapのソースはhttps://github.com/lolo123-123/VGCapで入手できる。
関連論文リスト
- Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering [18.82625951944924]
CapQuizは、人間によって検証され、きめ細かな複数の質問に答えるときに、その有用性に基づいてキャプションを評価する、新しい参照不要のベンチマークである。
CapQuizは既存の指標よりも人間の判断と非常によく相関しており、モデル性能に関する解釈可能な洞察を提供する。
論文 参考訳（メタデータ） (2026-09-09T10:00:43Z) - CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales [41.187897807081875]
CapRiCorn-1Kは、ビデオキャプションの品質と、長い時間的水平線と多様なビデオ領域にわたる主観的参照整合性の両方を評価するために設計されたベンチマークである。
私たちのベンチマークでは、オーディオ視覚と視覚のみの設定の両方をサポートしています。
評価指標は, 生成されたキャプション上での下流理解および生成タスクの性能と強い相関を示す。
論文 参考訳（メタデータ） (2026-06-20T08:37:32Z) - VIVECaption: A Split Approach to Caption Quality Improvement [4.78223063012581]
キャプション品質は、高品質なテキスト・ツー・イメージ(T2I)とテキスト・ツー・ビデオ(T2V)生成モデルのトレーニングにおいて重要なボトルネックとなっている。
この技術レポートでは、字幕品質改善のための体系的な2面アプローチであるVIVECaptionを紹介します。
論文 参考訳（メタデータ） (2026-03-08T01:29:07Z) - VCapsBench: A Large-scale Fine-grained Benchmark for Video Caption Quality Evaluation [23.701884816475403]
ビデオキャプションは、テキストからビデオへの生成タスクにおいて重要な役割を果たす。
既存のベンチマークでは、きめ細かい評価が不十分である。
細粒度ビデオキャプション評価ベンチマーク(VCapsBench)を紹介する。
論文 参考訳（メタデータ） (2025-05-29T14:34:25Z) - VidText: Towards Comprehensive Evaluation for Video Text Understanding [56.121054697977115]
VidTextは、ビデオテキスト理解の総合的かつ詳細な評価のためのベンチマークである。
さまざまな現実世界のシナリオをカバーし、多言語コンテンツをサポートする。
ビデオレベル、クリップレベル、インスタンスレベルのタスクを備えた階層的評価フレームワークを導入している。
論文 参考訳（メタデータ） (2025-05-28T19:39:35Z) - CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。
提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
論文 参考訳（メタデータ） (2024-07-06T02:32:28Z) - Towards A Better Metric for Text-to-Video Generation [102.16250512265995]
生成モデルは高品質のテキスト、画像、ビデオの合成において顕著な能力を示した。
新たな評価パイプラインであるText-to-Video Score(T2VScore)を導入する。
本尺度は,(1)テキスト記述における映像の忠実度を精査するテキスト・ビデオ・アライメント,(2)ビデオ品質,(2)ビデオ全体の製作口径を専門家の混合で評価するビデオ品質の2つの重要な基準を統合した。
論文 参考訳（メタデータ） (2024-01-15T15:42:39Z) - Towards Robust Text-Prompted Semantic Criterion for In-the-Wild Video
Quality Assessment [54.31355080688127]
コントラスト言語画像事前学習(CLIP)を用いたテキストプロンプト付きセマンティック親和性品質指標(SAQI)とそのローカライズ版(SAQI-Local)を導入する。
BVQI-Localは前例のないパフォーマンスを示し、すべてのデータセットで既存のゼロショットインデックスを少なくとも24%上回る。
我々は、異なる指標の異なる品質問題を調べるために包括的な分析を行い、設計の有効性と合理性を示す。
論文 参考訳（メタデータ） (2023-04-28T08:06:05Z) - Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection
to Image-Text Pre-Training [70.83385449872495]
映像モーメント検索(VMR)における視覚とテキストの相関
既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。
本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
論文 参考訳（メタデータ） (2023-02-28T19:29:05Z) - Diverse Video Captioning by Adaptive Spatio-temporal Attention [7.96569366755701]
エンド・ツー・エンドのエンコーダ・デコーダ・ビデオキャプション・フレームワークには2つのトランスフォーマー・ベースのアーキテクチャが組み込まれている。
本稿では,必要なフレーム数を削減するための適応フレーム選択方式を提案する。
ビデオキャプションに関するセマンティックな概念を,各サンプルのすべての接頭辞の真実を集約することで推定する。
論文 参考訳（メタデータ） (2022-08-19T11:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。