PONDER: Learning to Generate in the Right Order
Abstractの概要
PONDERは、次に生成すべきパッチと、削除して後から再生成すべき過去の予測を学習する、マスク画像生成向けの方策学習フレームワークです。本手法は生成順序を逐次的意思決定問題として扱い、基盤となる生成器を固定したまま、完成したサンプルに対する終端報酬から位置選択方策のみを訓練します。また本論文では、Fréchet Inception Distanceに対するサンプルの1次効果から導出される画像レベルの報酬であるFIDgradを導入し、分布レベルの品質に向けて方策を最適化できるようにしています。実験は視覚的数独、クラス条件付きImageNet生成、テキストからの画像生成を対象としており、学習された順序付けと任意の再考（rethinking）によって、これらすべての設定で性能が向上することが示されています。
新規性
本論文の主な新規性は、固定された、ランダムな、あるいは確信度に基づくスケジュールに依存するのではなく、固定された連続トークンマスク生成器に対して生成順序と修正の決定を学習する点にあります。もう一つの特徴的な貢献は、分布レベルのFID目標を、順序付け方策を訓練するためのサンプルごとの強化学習報酬へと変換するFIDgradです。
成果
生成器を固定した状態において、学習された順序付けによりMAR-BのImageNet FIDは4.09から2.78へと低減し、再考によってさらに2.70へと改善するとともに、FDr-5およびInception Scoreも向上しました。難易度の高い視覚的数独では、正解率がランダム順序の3.9%、SRM貪欲順序の38.7%から、学習された順序付けで56.6%、再考を含む場合は96.7%へと上昇しました。MaskGen-KL-XLによるテキストからの画像生成では、PONDERによりHPSv2がR=0で24.50から26.50へ、R=32で27.80へと向上し、ImageRewardおよびGenEvalでも改善が報告されています。
論文の注目点
- PONDERはサンプルに応じたパッチ順序を学習し、生成器の重みを固定したまま、制御可能な再考バジェットを通じて以前の予測を再訪・修正できる。
- FIDgradはFIDの1次変化量に基づいた画像レベルの報酬を提供し、生成器の微分を行うことなく分布品質に向けた強化学習を可能にする。
- ImageNet生成、視覚的数独、テキストからの画像生成の3つのタスク全体で実証的な向上が示され、テスト時に再考バジェットを増やすことで、同一の訓練済み方策のまま性能がさらに向上し続ける。