Fugu-MT: arxivの論文翻訳

CropReward: A Human-Preference Benchmark and Reward Model for Aesthetic Image Cropping

著者 Xiangfei Sheng, Xiaofeng Pan, Leida Li, Qian Zhang, Biao Wang, Johan Wagemans, Weisi Lin
所属 Huawei / KU Leuven / Xidian University / Nanyang Technological University
カテゴリ Evaluation / Human Preference Benchmark / Benchmark for aesthetic cropping preferences, Method / Reward Modeling / Training reward models from human preferences, Application / Image Cropping / Aesthetic image cropping techniques
ライセンス CC BY 4.0

Abstractの概要

本論文では、幾何学的な重複度や単体の美的スコアリングのみに依存するのではなく、人間の選好の観点から美的画像クロッピングを研究しています。著者らは、1,019枚の画像に対して14種類のクロッピング手法の出力および元画像を含む候補セットから構成される、106,995組の人間の選好ペアを持つベンチマーク「CropBench」を導入しました。このベンチマークを用いて、IoUや既存の画像美的評価モデルといった一般的な基準は人間の判断との一致度に限界があることを示しています。さらに、元画像と相対的にクロップを評価するMLLMベースの報酬モデル「CropReward」を提案し、これを用いて大規模な「CropReward-300K」データセットの構築およびクロッピングモデル「CropAlign」の学習を行っています。

新規性

主な新規性は、美的クロッピングのための人間の選好ベンチマークと、クロップを未トリミングの元画像と明示的に比較する報酬モデルの組み合わせにあります。また、人間の選好に基づく相対スコアリングを用いて評価と最適化の双方を監督し、人間がアノテーションしたクロップ枠なしでクロッピングモデルを学習可能にした点も特徴的です。

成果

CropBenchのテスト分割において、CropRewardは既存の評価基準やファインチューニングされたベースラインよりも人間の選好と強く一致し、一般画像で0.763、ポートレートで0.787のSRCC値を達成しました。さらにGAICD-v2やFGAesthetics-Cropにも汎化し、比較対象のドメイン外手法を上回ったほか、後者のベンチマークではドメイン内モデルのFGAesQをも凌駕しました。CropRewardによる教師付けを用いたCropAlignは、CropBench、FLMS、FCDBで報告された最高の総合スコアを達成し、6つの競合手法とのユーザースタディにおける一対一比較で75.7%の勝率を獲得しました。

論文の注目点

  1. CropBenchはクロップ同士および元画像との比較を含む人間の選好アノテーションを提供し、標準的なAIC評価指標と実際の人間の判断との乖離を明らかにしています。
  2. CropRewardはクロップが元画像を向上させたか損ねたかを評価するよう設計されており、そのペアワイズ差分学習の目的関数により詳細な人間の選好との一致度を高めています。
  3. CropRewardは評価だけでなくデータキュレーションや報酬誘導型の学習にも利用され、CropReward-300Kデータセットおよび選好に整列したクロッピングモデルCropAlignの実現につながっています。

参考リンク

このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。