Verifiable Visual Rewards Transfer from Synthetic Scenes to Natural Prompts
Abstractの概要
本論文では、検出器や視覚言語モデルなどの学習ベースの評価器ではなく、決定論的なプログラム検証器を用いて画像生成出力をスコアリングするフレームワークであるVerifiable Visual Rewards（VVR）を提案しています。著者らは、着色された幾何学的形状、数、空間関係を含む合成タスクを生成し、そこから自然言語プロンプトとピクセルを直接処理する参照不要の検証器を導出しています。また、制御された複雑さの下で視覚的指示への正確な追従度を測定するために、10,000タスクからなるVVRBenchと、より難度の高い720タスクからなるVVRBench-Challengeを公開しています。ベンチマーク結果はタスクの複雑さが増すにつれて性能が低下することを示しており、論文ではさらに拡散モデルの事後学習手法としてVVRに基づく報酬を用いた強化学習（RLVVR）についても検証しています。
新規性
特筆すべき貢献は、プロンプトの充足度が学習済み報酬モデルではなく決定論的なピクセルベースのコードによってチェックされる、オープンエンドな画像生成のためのプログラム検証可能な報酬フレームワークです。本研究はこの報酬設計を、手続き的に生成され複雑さが制御されたベンチマークおよび訓練データと組み合わせることで、同一の検証器ファミリーからの厳密な評価と強化学習の双方を可能にしています。
成果
VVRBench-Challengeにおいて、報告された最高性能のモデルであるGPT-Image-2.5-Sunburstは正解率21.39%を記録し、最先端システムにとっても正確な視覚指示追従が依然として困難であることを示しています。VVRスコアを強化学習の報酬として用いることで、VVRBenchにおけるStable Diffusion 3.5 Mediumの正解率はベースラインの2.81%から、VVR-Easy学習により28.27%へ、VVR-Matched学習により46.60%へと向上しました。さらに、複数の自然言語プロンプトベンチマークでの改善や、160の非VVRプロンプトにおいてVVR-Easyが事前学習ベースラインに対して71.6%の人手評価勝率を獲得するなど、合成シーンを超えた汎化性能も報告されています。
論文の注目点
- VVRは、決定論的かつ参照不要のピクセル検証器を用いて、生成画像が数、色、形状、空間関係などの複合的制約を満たしているかを評価する。
- 公開されたVVRBenchベンチマークにより画像生成モデルに大きな能力差があることが示され、特に数や物体のマッチング制約で失敗が集中し、構造の複雑さが増すほど正解率が低下する。
- VVRに基づく報酬を用いた学習は、ベンチマークタスクでの指示追従性を向上させてより広範な画像生成評価へと汎化するだけでなく、既存の事後学習報酬混合を補完する。