Qwen-Image-PE: Learning Visual Design for Text-to-Image Prompt Enhancement
Abstractの概要
本論文では、照明、構図、レイアウト、詳細などのきめ細かな視覚的デザインの選択肢を指定するように訓練された、テキストから画像生成向けのプロンプト拡張モデルであるQwen-Image-PEを提案します。本手法は2段階のパイプラインを採用しており、優れたデザインの画像の密なキャプションから学習するCaption-Based Reverse Distillation（CRD）による教師あり微調整と、同一リクエストに対する候補画像グループを評価するGroupwise Design Reward（GDR）を用いた強化学習で構成されます。著者らは主に凍結されたQwen-Image-2.1バックボーンを備えたQwen-Image-Bench上で本手法を評価し、学習データ、モデルサイズ、情報密度によるスケーリングについても検証しています。さらに、学習されたプロンプト拡張動作が訓練時の生成モデルを超えて汎化するかを調べるため、追加のテキストから画像生成バックボーンへの転移性もテストしています。
新規性
本論文の主な新規性は、プロンプト拡張を単なる意図の保持や一般的な嗜好の最適化にとどまらず、視覚的デザインを明示的に学習するものとして位置づけた点にあります。密な画像キャプションからプロンプトのターゲットを導出するCRDと、同一リクエストに対する候補間のグループ単位での視覚的比較を通じてプロンプトを洗練させるGDRを導入しています。
成果
Qwen-Image-2.1を用いたQwen-Image-Benchにおいて、Qwen-Image-PE-397Bは総合スコア62.17を達成し、元のリクエストから7.81ポイント向上したほか、Qwen-Image-PE-9Bは評価対象となったプロンプト拡張のベースラインを上回りました。また、本手法はデザイン関連指標、UniPercept品質測定値、人間の嗜好性を改善し、両モデルともに追加の4つのテキストから画像生成バックボーンにおいて元のリクエストを上回り、HunyuanImage-2.1およびFLUX 3 Image Kleinではネイティブのプロンプト拡張モデルを凌駕しました。
論文の注目点
- Qwen-Image-PEは、優れたデザインの画像に基づくキャプションベースの教師あり学習と、グループ単位のデザイン報酬を用いた強化学習の2段階で訓練されている。
- 報告された性能向上は視覚デザイン関連の成果で最も顕著であり、ベンチマーク対象のバックボーンにおいて照明、構図、詳細、美観、画質、人間の嗜好性の改善が見られた。
- スケーリング分析により、データ量の増加、モデルの大規模化、情報密度の向上に伴って性能が向上すること、および効果的なプロンプト拡張には十分な情報密度が不可欠であることが示唆されている。