論文の概要: AIGVE-Tool: AI-Generated Video Evaluation Toolkit with Multifaceted Benchmark

• arxiv url: http://arxiv.org/abs/2503.14064v1
• Date: Tue, 18 Mar 2025 09:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:54.613153
• Title: AIGVE-Tool: AI-Generated Video Evaluation Toolkit with Multifaceted Benchmark
• Title（参考訳）: AIGVE-Tool:多面ベンチマークによるAI生成ビデオ評価ツールキット
• Authors: Xinhao Xiang, Xiao Liu, Zizhong Li, Zhuosheng Liu, Jiawei Zhang,
• Abstract要約: 既存のメトリクスには、方法論を体系的に分類するための統一されたフレームワークがない。 AI生成ビデオ評価のための構造化分類と評価パイプラインを提供する統合フレームワークであるAIGVE-Toolを紹介する。 大規模なベンチマークデータセットは、手作りの指示とプロンプトに基づいて、5つのSOTAビデオ生成モデルで作成される。
• 参考スコア（独自算出の注目度）: 8.827755848017578
• License:
• Abstract: The rapid advancement in AI-generated video synthesis has led to a growth demand for standardized and effective evaluation metrics. Existing metrics lack a unified framework for systematically categorizing methodologies, limiting a holistic understanding of the evaluation landscape. Additionally, fragmented implementations and the absence of standardized interfaces lead to redundant processing overhead. Furthermore, many prior approaches are constrained by dataset-specific dependencies, limiting their applicability across diverse video domains. To address these challenges, we introduce AIGVE-Tool (AI-Generated Video Evaluation Toolkit), a unified framework that provides a structured and extensible evaluation pipeline for a comprehensive AI-generated video evaluation. Organized within a novel five-category taxonomy, AIGVE-Tool integrates multiple evaluation methodologies while allowing flexible customization through a modular configuration system. Additionally, we propose AIGVE-Bench, a large-scale benchmark dataset created with five SOTA video generation models based on hand-crafted instructions and prompts. This dataset systematically evaluates various video generation models across nine critical quality dimensions. Extensive experiments demonstrate the effectiveness of AIGVE-Tool in providing standardized and reliable evaluation results, highlighting specific strengths and limitations of current models and facilitating the advancements of next-generation AI-generated video techniques.
• Abstract（参考訳）: AI生成ビデオ合成の急速な進歩は、標準化された効果的な評価指標の需要の増加につながった。 既存のメトリクスには、方法論を体系的に分類するための統一されたフレームワークがなく、評価ランドスケープの全体的理解を制限する。 さらに、断片化された実装と標準化されたインターフェースがないため、冗長な処理オーバーヘッドが発生する。 さらに、多くの従来のアプローチはデータセット固有の依存関係によって制約されており、さまざまなビデオドメインに適用性を制限する。 これらの課題に対処するため、AI-Generated Video Evaluation Toolkit(AI-Generated Video Evaluation Toolkit)を導入し、AI-Generated Video Evaluationのための構造化された拡張可能な評価パイプラインを提供する。 AIGVE-Toolは、新しい5つのカテゴリの分類で編成され、モジュール構成システムを通じて柔軟なカスタマイズを可能にしながら、複数の評価手法を統合している。 さらに,手作りの指示とプロンプトに基づいて,5つのSOTAビデオ生成モデルを用いて作成した大規模ベンチマークデータセットであるAIGVE-Benchを提案する。 このデータセットは、9つの臨界品質次元にわたる様々なビデオ生成モデルを体系的に評価する。 大規模な実験は、AIGVE-Toolが標準化された信頼性の高い評価結果を提供することの有効性を示し、現在のモデルの具体的な強みと限界を強調し、次世代AI生成ビデオ技術の進歩を促進する。

関連論文リスト

• Multilevel Semantic-Aware Model for AI-Generated Video Quality Assessment [15.529169236891532]
  本稿では,AI生成ビデオ品質評価のためのマルチレベルセマンティック・アウェアモデルであるMSA-VQAを紹介する。 我々の階層的なフレームワークは、ビデオコンテンツを3つのレベル(フレーム、セグメント、ビデオ)で分析します。 ビデオと条件付きプロンプト間のセマンティック一貫性を確保するために,CLIPのテキストエンコーダを用いたPrompt Semantic Supervision Moduleを提案する。
  論文  参考訳（メタデータ） (2025-01-06T01:18:11Z)
• AIGV-Assessor: Benchmarking and Evaluating the Perceptual Quality of Text-to-Video Generation with LMM [54.44479359918971]
  AIGVQA-DBは,1,048プロンプトを用いた15の高度なテキスト・ビデオ・モデルによって生成された36,576個のAIGVからなる大規模データセットである。 AIGV-Assessorは、複雑な品質特性を活用して、正確なビデオ品質スコアとペアビデオ嗜好をキャプチャする新しいVQAモデルである。
  論文  参考訳（メタデータ） (2024-11-26T08:43:15Z)
• Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model [56.03592388332793]
  主観的・客観的な品質評価の観点からAIGC-VQA問題を考察する。 主観的観点からは,2,808本のAIGCビデオからなる大規模映像品質評価(LGVQ)データセットを構築した。 我々は,AIGCビデオの知覚的品質を,空間的品質,時間的品質,テキスト・ビデオアライメントの3つの重要な次元から評価した。 本稿では,AIGCビデオの多次元品質を正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-31T07:54:26Z)
• BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation [57.40024206484446]
  我々は、コンピュータビジョンモデルの体系的評価のために、完全にカスタマイズされた合成データを生成するためのツールと資産のセットであるBEHAVIOR Vision Suite(BVS)を紹介する。 BVSはシーンレベルで多数の調整可能なパラメータをサポートする。 アプリケーションシナリオを3つ紹介する。
  論文  参考訳（メタデータ） (2024-05-15T17:57:56Z)
• AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI [1.1035305628305816]
  本稿では,様々なビデオ生成タスクを評価するために設計された,先駆的な総合ベンチマークであるAIGCBenchを紹介する。 等価条件下で異なる最先端アルゴリズムを評価する、多様なオープンドメインの画像テキストデータセット。 我々は、リッチテキストプロンプトを作成するために、新しいテキストコンバインダーとGPT-4を使用し、高度なテキスト・ツー・イメージモデルを用いて画像を生成する。
  論文  参考訳（メタデータ） (2024-01-03T10:08:40Z)
• Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models [81.84810348214113]
  ビデオベースの大規模言語モデル(Video-LLMs)が最近導入され、認識と理解の基本的な改善と多様なユーザからの問い合わせの両方をターゲットにしている。 このようなモデルの開発を導くため、堅牢で包括的な評価システムの構築が重要となる。 本稿では,ビデオLLMの評価に特化して設計されたツールキットとともに,新しい総合的なベンチマークであるtextitVideo-Benchを提案する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:58Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• Domain-agnostic and Multi-level Evaluation of Generative Models [6.59118510067989]
  遺伝子mOdels(O)の多レベル性能評価のためのフレームワークを提案する。 MPEGOは、サブ機能ベースの低レベル評価からグローバル機能ベースの高レベル評価まで、パフォーマンスを階層的に定量化することを目的としている。 MPEGOにおける中間段階の妥当性を検討するためのアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-01-20T14:32:19Z)
• ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
  ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。 研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
  論文  参考訳（メタデータ） (2022-04-19T10:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。