Fugu-MT: arxivの論文翻訳

Unlocking Any-Order Generation in Pretrained Autoregressive Image Models

著者 Rishav Pramanik, Marco Pedersoli, Zhaozheng Yin
所属 International Laboratory on Learning Systems / Stony Brook University / LIVIA, ÉTS Montréal
カテゴリ Method / Autoregressive Models / Generation with arbitrary scan order, Task / Image Editing / Inpainting and outpainting, Application / Image Generation / Flexible image synthesis
ライセンス CC BY 4.0

Abstractの概要

本論文は、事前学習済みのラスタースキャン型自己回帰画像生成モデルを、任意の順序でトークンを生成できるように適応させる手法を提案しています。このアプローチでは、次の目標位置を特定する未来考慮型の位置埋め込みと、ラスタースキャンからランダムなトークン順列へと徐々に移行する順序カリキュラムを組み合わせています。4つのLlamaGenおよびRARモデルで評価したところ、この適応により標準的な自己回帰推論インフラとの互換性を維持しながら、インペインティング、アウトペインティング、および領域補完が可能になりました。この柔軟性は、クラス条件付きFIDのわずかな増加とのトレードオフとなっており、評価はImageNet上で実施されました。

新規性

本研究の顕著な貢献は、任意順序の自己回帰生成モデルを一から学習するのではなく、固定順序で事前学習されたチェックポイントを再利用する適応レシピにあります。予測の曖昧さを解消する軽量な目標位置埋め込みと、ランダム順序への移行時の最適化の破綻を防ぐ順序カリキュラムを組み合わせています。

成果

ImageNetにおいて、適応モデルはインペインティングとアウトペインティングでそれぞれ6.21と5.84のFIDを達成し、検証されたMaskGITのスケジュールを上回り、MAR-Lに対しても競争力を維持しました。4つのベースモデル全体で、適応に要した追加計算量は事前学習の13〜33%にとどまり、クラス条件付きFIDは元の事前学習チェックポイントと比較して1.17〜1.93の増加となりました。

論文の注目点

  1. 未来考慮型の位置埋め込みが次の空間的な目標位置を特定し、順序カリキュラムが最適化の安定性を維持するためにランダムな順列を徐々に導入します。
  2. 適応されたモデルは、タスク固有の学習なしでゼロショットのインペインティング、アウトペインティング、領域補完を実行できますが、編集の評価は領域補完のみに限定されています。
  3. 因果的Transformerアーキテクチャがそのまま維持されているため、適応モデルはKVキャッシュを保持し、並列デコーディングを許容し、カスタムモデル登録を介したvLLMサービングをサポートします。

参考リンク

このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。