CropReward: A Human-Preference Benchmark and Reward Model for Aesthetic Image Cropping
Abstractの概要
本論文では、幾何学的な重複度や単体の美的スコアリングのみに依存するのではなく、人間の選好の観点から美的画像クロッピングを研究しています。著者らは、1,019枚の画像に対して14種類のクロッピング手法の出力および元画像を含む候補セットから構成される、106,995組の人間の選好ペアを持つベンチマーク「CropBench」を導入しました。このベンチマークを用いて、IoUや既存の画像美的評価モデルといった一般的な基準は人間の判断との一致度に限界があることを示しています。さらに、元画像と相対的にクロップを評価するMLLMベースの報酬モデル「CropReward」を提案し、これを用いて大規模な「CropReward-300K」データセットの構築およびクロッピングモデル「CropAlign」の学習を行っています。
新規性
主な新規性は、美的クロッピングのための人間の選好ベンチマークと、クロップを未トリミングの元画像と明示的に比較する報酬モデルの組み合わせにあります。また、人間の選好に基づく相対スコアリングを用いて評価と最適化の双方を監督し、人間がアノテーションしたクロップ枠なしでクロッピングモデルを学習可能にした点も特徴的です。
成果
CropBenchのテスト分割において、CropRewardは既存の評価基準やファインチューニングされたベースラインよりも人間の選好と強く一致し、一般画像で0.763、ポートレートで0.787のSRCC値を達成しました。さらにGAICD-v2やFGAesthetics-Cropにも汎化し、比較対象のドメイン外手法を上回ったほか、後者のベンチマークではドメイン内モデルのFGAesQをも凌駕しました。CropRewardによる教師付けを用いたCropAlignは、CropBench、FLMS、FCDBで報告された最高の総合スコアを達成し、6つの競合手法とのユーザースタディにおける一対一比較で75.7%の勝率を獲得しました。
論文の注目点
- CropBenchはクロップ同士および元画像との比較を含む人間の選好アノテーションを提供し、標準的なAIC評価指標と実際の人間の判断との乖離を明らかにしています。
- CropRewardはクロップが元画像を向上させたか損ねたかを評価するよう設計されており、そのペアワイズ差分学習の目的関数により詳細な人間の選好との一致度を高めています。
- CropRewardは評価だけでなくデータキュレーションや報酬誘導型の学習にも利用され、CropReward-300Kデータセットおよび選好に整列したクロッピングモデルCropAlignの実現につながっています。