Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation
Abstractの概要
本論文は、テキストから動画を生成するモデルの出力が、オブジェクト、アクション、および物理的妥当性のレベルでプロンプトに忠実であるかを評価するための階層的評価フレームワークであるPhysics Question Scene Graph (PQSG) を提案しています。PQSGは、評価を明確な依存関係を持つ細かい検証質問の有向非巡回グラフとして表現し、前提となるオブジェクトやアクションの条件が満たされた場合にのみ物理に関する質問が行われるように構成されています。このフレームワークを検証するため、著者らは最近の動画生成モデルを用いた物理的焦点のプロンプトと生成動画からなる人間による注釈付きベンチマーク「FinePhyEval」を構築しました。実験の結果、PQSGは総合スコアの算出と詳細な失敗箇所の特定の両方を提供し、従来の複数の評価ベースラインよりも人間の判断と強い相関を示すことが明らかになりました。
新規性
本論文の主な新規性は、生成された動画に対するオブジェクト、アクション、および物理チェック間の論理的な依存関係を明示的にモデル化する、グラフ構造に基づく質問ベースの評価パイプラインにあります。また、動画全体の品質に関する評価だけでなく、その基礎となる質問生成および質問応答のサブタスクについて人間による注釈を備えたベンチマークであるFinePhyEvalを提供する点も貢献の一つです。
成果
FinePhyEvalにおいて、PQSGは人間の総合的な判断との間で比較対象のベースラインよりも高い相関を達成し、GPT-5.5ベースの質問応答（QA）で最大0.478、人間によるQAを用いた場合は0.80のピアソン相関に達しました。このフレームワークは、物理的な妥当性においてSora 2およびVeo 3をWan 2.1やCosmos 2.5よりも高く評価しています。また、現在の視覚言語モデル（VLM）は質問生成には強いものの、物理に焦点を当てた質問への回答においては著しく劣っており、物理QAの正解率は最高でも64.6%にとどまることが示されました。
論文の注目点
- PQSGは動画評価を、依存関係の制約で結ばれたオブジェクト、アクション、物理に関する質問に分解することで、どの段階で失敗したかを特定し、無意味な評価を回避するのに役立つ。
- FinePhyEvalは、リッカート尺度評価用の195個の人手評価済み動画に加え、質問生成および質問応答を分析するための詳細なアノテーションを提供する。
- 現在の動画生成モデルおよび評価モデルにとって、オブジェクトの描写はアクションや物理法則の描写に比べて容易であること、また、依存関係グラフと詳細な質問の導入が人間の評価との一致度を向上させることが実験により示された。
参考リンク
- arXiv: https://arxiv.org/abs/2606.25306v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.25306v1
- Hugging Face Papers: https://huggingface.co/papers/2606.25306
- GitHub: https://github.com/atinpothiraj/pqsg