VGI-BENCH: Probing Visual Intelligence in Video Generation Models
Abstractの概要
本論文では、プロセスを重視した視覚的グラウンディングタスクを通じて動画生成モデルの視覚的知能を評価するベンチマークであるVGI-Benchを導入する。このベンチマークには、4つのタスクドメインと7つのスキルタグからなる2層の分類法の下で整理された27のタスクと810のインスタンスが含まれており、写実的なスタイルの入力と現在の能力境界付近に調整された難易度を特徴としている。評価フレームワークは、モデルが有効な中間軌跡を通じて目標を達成しているかを検証するため、全体的な目標達成と局所的なプロセスの妥当性を組み合わせている。商用モデルおよびオープンソースモデルを対象とした実験により、現在の動画生成モデルは初期段階の視覚的推論能力を示しているものの、依然として信頼性には程遠いことが示された。
新規性
VGI-Benchは、現実的な入力、有効な状態遷移の展開を必要とするプロセス重視のタスク、調整されたタスクの実現可能性を特徴とする、動画生成モデル向けの視覚的推論ベンチマークを導入する。達成度とルールを遵守したプロセスの妥当性の両方をスコア化する専用の二重指標評価スキームを提供するとともに、失敗モード、入力条件への感度、合成ファインチューニングの転移性、内部のノイズ除去軌跡のダイナミクスを網羅した診断を提供する。
成果
商用モデルがオープンソースモデルをリードしているものの全体的な性能は控えめであり、最高性能のSeedance 2.0でも総合スコアは51.0にとどまる。構造化パズルが最も困難なドメインであり、トポロジーおよび時間的推論が最も脆弱なスキル次元となっている。診断結果からは、合成ファインチューニングによる転移はタスクの構造的重複に制約されて不均一であり、ノイズ除去軌跡における自己修正は極めて少なく（1%未満）、主に初期の仮説を精緻化していることが示された。
論文の注目点
- VGI-Benchは、4つのドメインと7つの認知的スキルタグで構成された27のプロセス重視タスクおよび810のインスタンスにわたり、動画生成モデルを評価する。
- 評価では、適応型フレームサンプリングとスライド式フォーカスウィンドウを使用し、全体的な目標達成とルールを遵守した中間軌跡の妥当性の両方を要求する。
- 実証結果により、現在のモデル全体で推論の信頼性が限定的であることが示され、物理的妥当性、ルールの遵守、時間的一貫性、ノイズ除去中の動的な自己修正において繰り返し失敗が確認された。