論文の概要: VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing
- arxiv url: http://arxiv.org/abs/2608.05485v1
- Date: Thu, 06 Aug 2026 00:28:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.672833
- Title: VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing
- Title（参考訳）: VideoArgus: ビデオ生成と編集のためのエージェントルブリック周囲の統一評価
- Abstract要約: VideoArgusは5つのビデオ生成と編集設定をカバーする統合フレームワークである。
VideoArgusは一度、出力盲のサンプル固有のルーリックを生成し、それを再利用して、対応するすべてのビデオを評価する。
- 参考スコア（独自算出の注目度）: 65.49021465098606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating generated videos remains challenging because existing benchmarks rely on fixed evaluation content, cover only a subset of generation and editing settings, and provide limited evidence for their scores. We introduce VideoArgus, a unified rubric-grounded framework covering five video generation and editing settings. For each input instance, VideoArgus generates an output-blind, sample-specific rubric once and reuses it to evaluate all corresponding candidate videos. The rubric defines concrete criteria, scoring rules, failure modes, and evidence plans, which guide criterion-specific VLM QA and visual tools to produce evidence-grounded criterion scores, rationales, and a diagnostic report. We further construct VideoArgus-Bench, containing 1,026 curated input instances built from 653 high-quality images and 416 high-quality videos, with all benchmark rubrics pre-generated, frozen, and released. On a separate 1,260-video human-alignment set, VideoArgus achieves higher within-input Spearman and Kendall correlations with human judgments than the corresponding benchmark-specific evaluators across all five tasks. Model rankings also remain largely consistent across different rubric-generation and evaluation-VLM backbones. All code and data are released. Visit our project page: https://zzzmyyzeng.github.io/VideoArgus
- Abstract（参考訳）: 既存のベンチマークは、固定された評価コンテンツに依存し、生成と編集設定のサブセットのみをカバーし、スコアの限られた証拠を提供するため、生成したビデオを評価することは依然として難しい。
ビデオ生成と編集の5つの設定を対象とする,統一的なルーリックグラウンドフレームワークであるVideoArgusを紹介する。
それぞれの入力インスタンスに対して、VideoArgusは出力盲のサンプル固有のルーリックを生成し、それを再利用して、対応するすべての候補ビデオを評価する。
このルーブリックは、具体的な基準、スコアリングルール、失敗モード、エビデンスプランを定義しており、これは、基準固有のVLM QAと視覚ツールをガイドし、エビデンスに基づく基準スコア、合理性、診断レポートを生成する。
さらに、ビデオArgus-Benchを構築し、633の高品質な画像と416の高品質なビデオから構築された1,026のキュレートされた入力インスタンスを含む。
1,260の動画アライメントセットでは、VideoArgusは5つのタスクにまたがるベンチマーク固有の評価器よりも、人間の判断とインインインインインインインプットのSpearmanとKendallの相関性が高い。
モデルランキングは、異なるルーリック世代と評価VLMバックボーンにほぼ一致している。
すべてのコードとデータがリリースされます。
プロジェクトページをご覧ください。 https://zzzmyyzeng.github.io/VideoArgus
関連論文リスト
- FIRM-Video: Check Before You Score for Reliable Text-to-Video Reward Modeling [39.98419782895457]
本稿では,チェックリスト駆動型データ構築フレームワークFIRM-Videoを紹介する。
29,348本のビデオから,88,044本の寸法を持つFIRM-Video-90Kを構築し,750本のポイントワイドな人間のアノテーションを用いたFIRM-Video-Benchを紹介した。
Qwen3-VLベースのFIRM-Video-8Bは、FIRM-Video-Benchで最高のMAEを達成しつつ、最高VBenchトータル、品質、セマンティックスコアを継続的に提供する。
論文 参考訳（メタデータ） (2026-08-22T08:21:40Z) - OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - UniVBench: Towards Unified Evaluation for Video Foundation Models [29.73247324829126]
ビデオファウンデーションモデルは、ビデオ理解、生成、編集、インストラクションを単一のフレームワークに統合することを目的としている。
UniVBenchは、4つのコア能力にまたがるビデオ基盤モデルを評価するためのベンチマークである。
本ベンチマークでは,200本の高画質・多機能・マルチショット映像を取り入れることで,評価の複雑さを大幅に拡大する。
論文 参考訳（メタデータ） (2026-02-25T12:08:53Z) - VC-Bench: Pioneering the Video Connecting Benchmark with a Dataset and Evaluation Metrics [83.61875204972465]
ビデオ接続(Video Connecting)は,ビデオクリップの開始と終了の間にスムーズな中間映像コンテンツを生成するタスクである。
このギャップを埋めるため、私たちはビデオ接続に特化した新しいベンチマークであるVC-Benchを提案しました。
VC-Benchは、ビデオ品質スコアVQS、スタート-エンド一貫性スコアSECS、トランジッションスムースネススコアSSの3つの中核的な側面に焦点を当てている。
論文 参考訳（メタデータ） (2026-01-27T06:15:12Z) - VideoScore2: Think before You Score in Generative Video Evaluation [69.43069741467603]
VideoScore2は、視覚的品質、テキスト・ツー・ビデオのアライメント、物理的/常識的一貫性を明確に評価する多次元、解釈可能、そして人間によるアライメントフレームワークである。
我々のモデルは、27,168人の注釈付きビデオを含む大規模なデータセットVideoFeedback2で訓練されている。
論文 参考訳（メタデータ） (2025-09-26T18:09:03Z) - VCapsBench: A Large-scale Fine-grained Benchmark for Video Caption Quality Evaluation [23.701884816475403]
ビデオキャプションは、テキストからビデオへの生成タスクにおいて重要な役割を果たす。
既存のベンチマークでは、きめ細かい評価が不十分である。
細粒度ビデオキャプション評価ベンチマーク(VCapsBench)を紹介する。
論文 参考訳（メタデータ） (2025-05-29T14:34:25Z) - InstructionBench: An Instructional Video Understanding Benchmark [14.71613140347162]
InstructionBenchはインストラクショナルビデオ理解ベンチマークである。
我々は、粗いイベントレベルと細かなオブジェクトレベルの推論の両方を評価するために、オープンエンドおよび複数選択形式のQ&Aペアを定式化する。
このベンチマークには、700本以上のビデオに5Kの質問が含まれている。
論文 参考訳（メタデータ） (2025-04-07T13:05:09Z) - VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models [111.5892290894904]
VBenchは、"ビデオ生成品質"を特定の、階層的、そして非絡み合ったディメンションに分解するベンチマークスイートである。
我々は、人間の知覚とベンチマークの整合性を検証するために、人間の嗜好アノテーションのデータセットを提供する。
VBench++は、テキスト・トゥ・ビデオと画像・トゥ・ビデオの評価をサポートする。
論文 参考訳（メタデータ） (2024-11-20T17:54:41Z) - Beyond Raw Videos: Understanding Edited Videos with Large Multimodal Model [62.38322742493649]
我々は、編集カテゴリ、すなわちエフェクト、面白い、ミーム、ゲームをカバーするビデオVQAベンチマークを構築した。
オープンソースビデオのLMMのほとんどはベンチマークでは不十分であり、ソーシャルメディア上の編集されたショートビデオと通常の生ビデオの間に大きなドメインギャップがあることを示唆している。
LMMの一般化能力を向上させるため,Panda-70M/WebVid生ビデオとTikTok/CapCut編集ビデオの両方に基づいて,提案したベンチマークのトレーニングセットを収集した。
論文 参考訳（メタデータ） (2024-06-15T03:28:52Z) - Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである
合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。
我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
論文 参考訳（メタデータ） (2024-06-13T17:50:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。