Visual Autoregressive Generation with Next Token Imagination
Abstractの概要
本論文は、複数の妥当な継続が存在し得るにもかかわらず、訓練時に各位置で正解の次トークンのみを教師データとしているため、標準的な視覚的自己回帰画像生成が過度に制約されていると主張しています。著者らは、現在のコンテキストによって探索を制御しつつ、正解以外の妥当なトークンの探索を可能にする訓練パラダイムであるNext Token Imagination（NTI）を提案しています。NTIは、正解以外のトークンに適応的な確率質量を割り当てるContext-Regulated Imagination（CRI）と、コストの高い自己回帰ロールアウトを行わずにモデル生成コンテキストを効率的に構築するSnapshot-based Context Approximation（SCA）を組み合わせたものです。クラス条件付きImageNet生成実験において、この訓練手法の変更が、トークナイザー、生成順序、推論パイプラインを変更することなくラスタ順自己回帰生成器の性能を向上させることが示されています。
新規性
最大の特徴は、視覚的自己回帰訓練において正解のみを教師とする手法から、妥当な非正解次トークンに対するコンテキスト制御された教師あり学習への転換です。手法面では、この広範な教師あり学習をコンテキスト依存かつ計算上実用的なものにするため、CRIとSCAのペアとなるメカニズムを導入しています。
成果
256×256のImageNet-1Kにおいて、NTIはAR-LバックボーンのFIDを3.02から1.67へ、ISを256.20から312.72へと改善し、モデルサイズ全体で一貫した向上が見られました。また、この手法は標準外のトークナイザー構成も改善し、GigaTokでFIDを3.94から3.66へ、AliTokで1.61から1.51へと低下させ、推論に変更を加えることなく約10%の訓練オーバーヘッドの追加にとどめています。
論文の注目点
- NTIは、正解から外れたすべてのコンテキストを観測シーケンスへ無理に戻すのではなく、妥当な非正解次トークンの教師あり学習を可能にすることで、視覚的自己回帰訓練を再構築しています。
- この手法は、現在のコンテキストに合わせて非正解トークンの重みを適応させるCRIと、シングルパスの訓練設定で生成コンテキストを効率的に近似するSCAを採用しています。
- 実験的に、NTIはImageNetにおける標準的なラスタ順自己回帰画像生成を大幅に強化し、わずかな訓練コスト増のみでトークナイザー設計を問わず汎化します。