UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
Abstractの概要
本論文では、自身の視覚的批評を活用してその後の画像生成を改善するマルチモーダルモデル向け自己進化フレームワーク、UniEvo-VLを提案しています。この手法では、元のプロンプトから生成を行う生徒と、批評によって拡張された修正後プロンプトを受け取る教師を分離し、オンポリシー自己蒸留を通じて生徒自身の軌跡に沿ってノイズ除去予測を一致させます。また、学習パイプラインには、蒸留前に修正後検証ステップによって修正プロンプトをフィルタリングする処理を任意で組み込むことが可能です。実験はQwen-Image-2512を用いた構成的画像生成とOCRスタイルのテキストレンダリングで実施され、推論時のリフレクションやより強力な外部批評モデルに関する追加分析も行われています。
新規性
本研究の際立った貢献は、マルチモーダルモデルの自己改善に向けた批評条件付きオンポリシー自己蒸留にあります。同一のマルチモーダルシステムが修正フィードバックを提供して教師向けの特権的な条件付けへと変換し、元のプロンプトしか見ない生徒へとそのガイダンスを蒸留します。修正されたターゲット画像やスカラー報酬、あるいは個別に学習された外部の教師モデルに依存する手法とは異なり、UniEvo-VLは生徒自身がサンプリングした状態に対する教師の予測から学習します。
成果
報告された実験全体を通じて、UniEvo-VLはGenEvalにおいてベースモデルよりも直接生成の性能を向上させ、検証ステップを加えることでGenEval2やOCRの指標も改善しました。表1において、検証付きQwen構成はGenEvalを0.747から0.818へ、GenEval2を32.58から35.07へ、OCRを0.771から0.790へと引き上げ、より強力な外部批評モデルを用いた構成では全体で最も高いGenEvalおよびGenEval2スコアを達成しています。さらに、学習後もリフレクションが依然として有効であり、学習とリフレクションの組み合わせが全3ベンチマークで最高のスコアを達成することが示されていますが、その向上幅はタスクやプロンプトの難易度によって一様ではありません。
論文の注目点
- UniEvo-VLは、生徒が元のプロンプトを保持する一方で修正プロンプトを条件とする教師から蒸留を行うことで、批評に基づく修正を内在化するようにマルチモーダル生成器を学習させる。
- 合成された修正プロンプトをフィルタリングするために修正後検証ステージが用いられ、この検証済み設定は未検証の自己批評構成よりも強力で一貫した改善をもたらす。
- 実証的に、改善は難易度の高い構成的プロンプトで最も顕著であり、外部批評モデルは改善の上限を引き上げることができる一方、OCRやテキストレンダリングの向上幅は構成的生成の向上に比べてばらつきが大きい。
参考リンク
- arXiv: https://arxiv.org/abs/2609.38721v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.38721v1
- Hugging Face Papers: https://huggingface.co/papers/2609.38721