論文の概要: Measuring the Quality of Text-to-Video Model Outputs: Metrics and
Dataset
- arxiv url: http://arxiv.org/abs/2309.08009v1
- Date: Thu, 14 Sep 2023 19:35:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 16:44:28.806609
- Title: Measuring the Quality of Text-to-Video Model Outputs: Metrics and
Dataset
- Title（参考訳）: テキストからビデオへのモデル出力の品質測定:メトリクスとデータセット
- Authors: Iya Chivileva and Philip Lynch and Tomas E. Ward and Alan F. Smeaton
- Abstract要約: 本稿は,最近使用されている5つのT2Vモデルから,1,000以上の生成されたビデオのデータセットを提示する。
また、ビデオ上での人間の品質評価も含むので、人間の評価を含むメトリクスの相対的な強みと弱みを比較することができます。
我々の結論は、T2V出力を生成するために使用するテキストプロンプトと自然性および意味マッチングが重要であるが、T2Vモデル出力を評価する際にこれらの微妙さを捉えるための単一の手段はないということである。
- 参考スコア（独自算出の注目度）: 1.9685736810241874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the quality of videos generated from text-to-video (T2V) models is
important if they are to produce plausible outputs that convince a viewer of
their authenticity. We examine some of the metrics used in this area and
highlight their limitations. The paper presents a dataset of more than 1,000
generated videos from 5 very recent T2V models on which some of those commonly
used quality metrics are applied. We also include extensive human quality
evaluations on those videos, allowing the relative strengths and weaknesses of
metrics, including human assessment, to be compared. The contribution is an
assessment of commonly used quality metrics, and a comparison of their
performances and the performance of human evaluations on an open dataset of T2V
videos. Our conclusion is that naturalness and semantic matching with the text
prompt used to generate the T2V output are important but there is no single
measure to capture these subtleties in assessing T2V model output.
- Abstract（参考訳）: テキスト・ツー・ビデオ(T2V)モデルから生成されたビデオの品質を評価することは、視聴者にその信頼性を納得させる可視的な出力を生成するために重要である。
この領域で使用されるメトリクスのいくつかを調べ、その制限を強調します。
本稿は,最近使用されている5つのT2Vモデルから,1,000以上の生成されたビデオのデータセットを提示する。
また、これらのビデオには広範な品質評価が含まれており、人間評価を含む指標の相対的な強みと弱みを比較することができる。
この貢献は、一般的に使用される品質指標の評価と、t2vビデオのオープンデータセットにおけるそのパフォーマンスとヒューマン評価のパフォーマンスの比較である。
我々の結論は、T2V出力を生成するために使用するテキストプロンプトと自然性および意味マッチングが重要であるが、T2Vモデル出力を評価する際にこれらの微妙さを捉えるための単一の手段はないということである。
関連論文リスト
- T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation [55.57459883629706]
コンポジションテキスト・ビデオ生成に関する最初の体系的研究を行う。
合成テキスト・ビデオ生成に適した最初のベンチマークであるT2V-CompBenchを提案する。
論文 参考訳（メタデータ） (2024-07-19T17:58:36Z) - Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment [54.00254267259069]
現在までに最大規模のテキスト・ビデオ品質評価データベース(T2VQA-DB)を構築している。
データセットは、9つの異なるT2Vモデルによって生成される1万のビデオで構成されている。
主観的テキスト・ビデオ品質評価(T2VQA)のためのトランスフォーマーに基づく新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-03-18T16:52:49Z) - Towards A Better Metric for Text-to-Video Generation [102.16250512265995]
生成モデルは高品質のテキスト、画像、ビデオの合成において顕著な能力を示した。
新たな評価パイプラインであるText-to-Video Score(T2VScore)を導入する。
本尺度は,(1)テキスト記述における映像の忠実度を精査するテキスト・ビデオ・アライメント,(2)ビデオ品質,(2)ビデオ全体の製作口径を専門家の混合で評価するビデオ品質の2つの重要な基準を統合した。
論文 参考訳（メタデータ） (2024-01-15T15:42:39Z) - FETV: A Benchmark for Fine-Grained Evaluation of Open-Domain
Text-to-Video Generation [27.620973815397296]
オープンドメインのテキスト・トゥ・ビデオ(T2V)生成モデルは目覚ましい進歩を遂げた。
既存の研究では、テキストプロンプトの異なるカテゴリにおけるT2Vモデルのきめ細かい評価が欠けている。
自動評価基準が人間の基準と一致しているかどうかは不明である。
論文 参考訳（メタデータ） (2023-11-03T09:46:05Z) - EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。
我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。
そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文 参考訳（メタデータ） (2023-10-17T17:50:46Z) - Models See Hallucinations: Evaluating the Factuality in Video Captioning [57.85548187177109]
ビデオキャプションにおける実感の人間による評価を行い、2つの注釈付き実感データセットを収集する。
モデル生成文の57.0%に事実誤りがあり、この分野では深刻な問題であることを示す。
本稿では,映像キャプションの事実性評価において,従来の指標より優れていたモデルベース事実性指標FactVCを提案する。
論文 参考訳（メタデータ） (2023-03-06T08:32:50Z) - Video compression dataset and benchmark of learning-based video-quality
metrics [55.41644538483948]
本稿では,ビデオ圧縮の評価を行うビデオ品質指標の新しいベンチマークを提案する。
これは、異なる標準でエンコードされた約2,500のストリームからなる、新しいデータセットに基づいている。
クラウドソーシングによるペアワイズ比較により,主観的スコアを収集した。
論文 参考訳（メタデータ） (2022-11-22T09:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。