Unlocking Any-Order Generation in Pretrained Autoregressive Image Models
Abstractの概要
本論文は、事前学習済みのラスタースキャン型自己回帰画像生成モデルを、任意の順序でトークンを生成できるように適応させる手法を提案しています。このアプローチでは、次の目標位置を特定する未来考慮型の位置埋め込みと、ラスタースキャンからランダムなトークン順列へと徐々に移行する順序カリキュラムを組み合わせています。4つのLlamaGenおよびRARモデルで評価したところ、この適応により標準的な自己回帰推論インフラとの互換性を維持しながら、インペインティング、アウトペインティング、および領域補完が可能になりました。この柔軟性は、クラス条件付きFIDのわずかな増加とのトレードオフとなっており、評価はImageNet上で実施されました。
新規性
本研究の顕著な貢献は、任意順序の自己回帰生成モデルを一から学習するのではなく、固定順序で事前学習されたチェックポイントを再利用する適応レシピにあります。予測の曖昧さを解消する軽量な目標位置埋め込みと、ランダム順序への移行時の最適化の破綻を防ぐ順序カリキュラムを組み合わせています。
成果
ImageNetにおいて、適応モデルはインペインティングとアウトペインティングでそれぞれ6.21と5.84のFIDを達成し、検証されたMaskGITのスケジュールを上回り、MAR-Lに対しても競争力を維持しました。4つのベースモデル全体で、適応に要した追加計算量は事前学習の13〜33%にとどまり、クラス条件付きFIDは元の事前学習チェックポイントと比較して1.17〜1.93の増加となりました。
論文の注目点
- 未来考慮型の位置埋め込みが次の空間的な目標位置を特定し、順序カリキュラムが最適化の安定性を維持するためにランダムな順列を徐々に導入します。
- 適応されたモデルは、タスク固有の学習なしでゼロショットのインペインティング、アウトペインティング、領域補完を実行できますが、編集の評価は領域補完のみに限定されています。
- 因果的Transformerアーキテクチャがそのまま維持されているため、適応モデルはKVキャッシュを保持し、並列デコーディングを許容し、カスタムモデル登録を介したvLLMサービングをサポートします。
参考リンク
- arXiv: https://arxiv.org/abs/2610.39293v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.39293v1
- Hugging Face Papers: https://huggingface.co/papers/2610.39293
- GitHub: https://github.com/Ordered-AR/unlockedadaptation