論文の概要: GRADEO: Towards Human-Like Evaluation for Text-to-Video Generation via Multi-Step Reasoning

• arxiv url: http://arxiv.org/abs/2503.02341v1
• Date: Tue, 04 Mar 2025 07:04:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:00.027894
• Title: GRADEO: Towards Human-Like Evaluation for Text-to-Video Generation via Multi-Step Reasoning
• Title（参考訳）: GRADEO:マルチステップ推論によるテキスト・ビデオ生成のためのヒューマンライクな評価を目指して
• Authors: Zhun Mou, Bin Xia, Zhengchao Huang, Wenming Yang, Jiaya Jia,
• Abstract要約: GRADEOは、最初に設計されたビデオ評価モデルの1つである。 説明可能なスコアと評価のためにAIが生成したビデオを、多段階の推論によって評価する。 実験の結果,本手法は既存手法よりも人的評価に適合していることがわかった。
• 参考スコア（独自算出の注目度）: 62.775721264492994
• License:
• Abstract: Recent great advances in video generation models have demonstrated their potential to produce high-quality videos, bringing challenges to effective evaluation. Unlike human evaluation, existing automated evaluation metrics lack high-level semantic understanding and reasoning capabilities for video, thus making them infeasible and unexplainable. To fill this gap, we curate GRADEO-Instruct, a multi-dimensional T2V evaluation instruction tuning dataset, including 3.3k videos from over 10 existing video generation models and multi-step reasoning assessments converted by 16k human annotations. We then introduce GRADEO, one of the first specifically designed video evaluation models, which grades AI-generated videos for explainable scores and assessments through multi-step reasoning. Experiments show that our method aligns better with human evaluations than existing methods. Furthermore, our benchmarking reveals that current video generation models struggle to produce content that aligns with human reasoning and complex real-world scenarios. The models, datasets, and codes will be released soon.
• Abstract（参考訳）: ビデオ生成モデルにおける近年の大きな進歩は、高品質なビデオを作成する可能性を示し、効果的な評価に挑戦している。 人間の評価とは異なり、既存の自動評価メトリクスは、ビデオの高度な意味理解と推論能力が欠如しているため、それらが実現不可能で説明不可能である。 このギャップを埋めるために、既存の10以上のビデオ生成モデルから3.3kのビデオと16kの人間のアノテーションで変換された多段階の推論アセスメントを含む多次元T2V評価指導データセットGRADEO-Instructをキュレートする。 次に、GRADEOを紹介します。これは、AIが生成したビデオを、多段階の推論によって説明可能なスコアと評価のために評価する、最初に設計されたビデオ評価モデルの1つです。 実験の結果,本手法は既存手法よりも人的評価に適合していることがわかった。 さらに、我々のベンチマークでは、現在のビデオ生成モデルは、人間の推論や複雑な現実世界のシナリオに沿ったコンテンツを生成するのに苦労していることが明らかになっている。 モデル、データセット、コードはまもなくリリースされる。

関連論文リスト

• VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models [111.5892290894904]
  VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。 我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。 VBench++は、テキスト・トゥ・ビデオと画像・トゥ・ビデオの評価をサポートする。
  論文  参考訳（メタデータ） (2024-11-20T17:54:41Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• Towards A Better Metric for Text-to-Video Generation [102.16250512265995]
  生成モデルは高品質のテキスト、画像、ビデオの合成において顕著な能力を示した。 新たな評価パイプラインであるText-to-Video Score(T2VScore)を導入する。 本尺度は,(1)テキスト記述における映像の忠実度を精査するテキスト・ビデオ・アライメント,(2)ビデオ品質,(2)ビデオ全体の製作口径を専門家の混合で評価するビデオ品質の2つの重要な基準を統合した。
  論文  参考訳（メタデータ） (2024-01-15T15:42:39Z)
• VBench: Comprehensive Benchmark Suite for Video Generative Models [100.43756570261384]
  VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。 我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。 VBenchは、すべてのプロンプト、評価方法、生成されたビデオ、人間の好みのアノテーションを含むオープンソースとして公開します。
  論文  参考訳（メタデータ） (2023-11-29T18:39:01Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• CLUE: Contextualised Unified Explainable Learning of User Engagement in Video Lectures [6.25256391074865]
  本稿では,オンライン授業ビデオから抽出した特徴から学習する統合モデルCLUEを提案する。 我々のモデルは、言語、文脈情報、配信されたコンテンツのテキスト感情の複雑さをモデル化するために、様々なマルチモーダル機能を利用する。
  論文  参考訳（メタデータ） (2022-01-14T19:51:06Z)
• Learning Video Models from Text: Zero-Shot Anticipation for Procedural Actions [30.88621433812347]
  本稿では,大規模テキストコーパスから指導知識を一般化し,その知識をビデオに転送する階層モデルを提案する。 指導ビデオの一部が与えられた後、我々のモデルは、リッチな自然言語で、未来への複数のステップにおいて、一貫性のある、もっともらしい行動を認識し、予測する。
  論文  参考訳（メタデータ） (2021-06-06T15:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。