UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling
Abstractの概要
UniGen-ARは、テキストからの画像生成、編集、復元、古典的な認識処理など、15以上のタスクにおいて画像出力を行う単一のモデルによる統合的な視覚生成（unified visual generation）について研究している。このフレームワークは、マルチモーダル言語モデル（MLLM）エンコーダと次スケール（next-scale）視覚自己回帰（VAR）デコーダを組み合わせ、タスク固有のヘッドではなく、統合されたプロンプトインターフェースと単一の重みセットを使用する。参照画像と指示は共有の条件付けシーケンスにエンコードされ、VARデコーダは離散的な視覚トークンを生成し、それが再び画像や密な予測マップにデコードされる。本論文では、推論コストを削減しつつ柔軟なマルチモーダル条件付けを維持することを目指し、この設計を拡散ベースの統合システムの代替として位置づけている。
新規性
本論文は、次スケール視覚自己回帰モデリングを、MLLMベースの条件付けを用いた完全な統合視覚生成へと拡張する初のフレームワークを提示している。MLLMインターフェース、先頭に付加された最も細かいスケールの参照トークン、そして合成、編集、復元、認識を1つの画像出力バックボーンでサポートする統合的な自己回帰スケジュールの組み合わせが特徴的な要素である。
成果
経験的に、UniGen-ARは評価されたタスク群全体で競争力のある性能を報告しており、特に復元および認識ベンチマークにおいて従来のARベースのUVGシステムと比較して強力な結果を示している。報告されたベンチマークでは、テキストからの画像生成において競争力を維持しながら、編集、深度、法線、低照度強調、ブレ除去、雨除去においてInfinity (UVG) ベースラインを上回っている。効率性の点では、拡散ベースのベースライン全体と比較して最大19倍低い推論レイテンシを報告し、条件を揃えた比較では、約5倍低いレイテンシと10倍以上のFLOPs削減を示している。
論文の注目点
- UniGen-ARは、タスク固有のヘッドを使用せず、単一のMLLM条件付きVARフレームワークで15以上の視覚生成および画像出力タスクを統合する。
- このモデルは幅広い経験的能力を示し、テキストからの画像生成や編集で競争力を維持しつつ、特に復元や認識タスクにおいて従来のARベースのUVGベースラインを上回っている。
- 技術的な中心となる発見は、視覚トークナイザの設計、特にVQ-VAEのコードブックサイズと階層構造が、VARベースの統合視覚生成のスケーラビリティと品質に実質的な影響を与えることである。