IsoVRBench: Video Reward Modeling Without Human Feedback
Abstractの概要
本論文では、生成された動画の他の要素を固定したまま単一の属性のみを変更する制御された介入によって構築された、動画リワードモデリングのためのベンチマークであるIsoVRBenchを提案します。これにより、ペアごとの人間によるアノテーションを必要とせずに選好ラベルを自動的に導出することが可能になります。本ベンチマークは、動き、テキストとの整合性、視覚的品質、総合的品質にわたる8つの介入からなる8,000ペアで構成されており、意図された差異が知覚可能であることは人間の検証によって確認されています。9つの動画リワードモデルと2つの汎用ビジョン・言語ジャッジを評価した結果、現在のシステムは大まかな生成品質の差異は適切に識別できるものの、フレーム内容を保持した微細な時間的特性の識別には苦戦していることが明らかになりました。特にモデルは時間的順序に対する感度が低く、既存のベンチマークランキングからはこの弱点を予測できません。
新規性
主な新規性は、制御された動画介入を用いて所定のラベルを持つ選好ペアを単一属性ごとに生成し、特定のリワードモデル機能を評価・学習するための大規模な人間の選好収集を不要にした点にあります。これにより、フレーム順序や動きの滑らかさなどの個別の次元を分離した、容易に更新可能で属性特化型のベンチマークおよび合成学習フレームワークが実現されます。
成果
IsoVRBenchにおいて、最高性能のリワードモデルは平均精度73.3%を達成したものの、人間が100%の精度を示したフレーム並び替えペアに対しては60.8%にとどまりました。介入由来のペアのみで学習したリワードモデル（IsoVRM-Q2）はVBench-2.0において人間データで学習した対照モデルを3.8ポイント上回り（60.1%対56.3%）、介入データと人間のラベルを組み合わせることで（IsoVRM-VR）VBench-2.0のスコアはさらに63.5%へと向上しました。さらに、介入教師ありリワードモデルで事後学習された生成器は、VideoRewardで学習された生成器（43.3%）よりも高い人間の選好勝率（IsoVRM-Q2で55.4%、IsoVRM-VRで51.2%）を達成しました。
論文の注目点
- IsoVRBenchは制御された介入を通じて個々の動画属性を分離し、ペアごとの人間によるアノテーションを必要とせずに8,000のラベル付き選好ペアを生成する。
- 最先端の動画リワードモデルやプロンプトを用いたビジョン・言語ジャッジは、人間にとっては明確であるフレーム順序や時間的滑らかさの変化に対して著しく性能が低下し、この弱点は既存のベンチマークでは予測できない。
- 介入由来の選好教師データは人間の選好データを効果的に代替または補強し、リワードモデルのベンチマーク転移性能および下流の動画生成モデルの事後学習を向上させる。