OmniGen-AR: AutoRegressive Any-to-Image Generation
Abstractの概要
OmniGen-ARは、テキストと多様な視覚的条件を単一モデル内の離散トークンにエンコードする、任意の入力から画像を生成（any-to-image）するための統合自己回帰フレームワークとして提案されている。画像、深度マップ、セグメンテーションマスク、その他の視覚的入力用の共有視覚トークナイザと、プロンプト用のテキストトークナイザを使用することで、テキストからの画像生成、セグメンテーションからの画像生成、深度からの画像生成、画像編集、フレーム予測、テキストからの動画生成をサポートする。本論文では、条件トークンとターゲットトークン間の情報漏えいが条件付き自己回帰生成における主要な問題であると特定し、条件とコンテンツのアテンション経路を分離するための学習時の正則化戦略としてDisentangled Causal Attention (DCA)を導入している。複数のベンチマークにわたる実験により、このアプローチが広く有効であることが示されており、特にテキストからの画像生成および動画生成で高い結果を示す一方で、他の様々な制御された生成タスクでも競争力のある性能を維持している。
新規性
主な新規性は、モダリティ固有の個別のエンコーダやアダプタを使用するのではなく、共有の離散空間を介して複数の条件付けモダリティを処理する、統合された自己回帰型のany-to-imageの定式化にある。また本論文では、ショートカット学習や条件トークンから生成されるコンテンツトークンへの情報漏洩を軽減するように設計された、学習時のマスキング手法であるDisentangled Causal Attentionを導入している。
成果
報告されたベンチマークにおいて、15億パラメータのOmniGen-ARモデルは、テキストからの画像生成タスクであるGenEvalで0.63、テキストからの動画生成タスクであるVBenchで80.02を達成している。同モデルは競争力のある画像編集性能（CLIPテキスト類似度0.23、CLIP画像類似度0.84）や、VideoPoetよりも低いゼロショット・フレーム予測のFVDを示しているが、空間条件付き生成は競争力はあるものの報告された表の中で最高の結果ではない。アブレーション実験の結果から、DCAを10%の確率で適用することで、標準的な因果マスクアテンションのみを使用した場合と比較して、編集に関連する条件付けのパフォーマンスが向上することが示されている。
論文の注目点
- OmniGen-ARは、テキスト、空間的制御、視覚的コンテキストを共有の離散表現にトークン化することで、これらを単一の自己回帰モデル内に統合している。
- 提案手法であるDisentangled Causal Attentionは、情報の漏洩を減らし、条件付き生成タスクにおける指示追従性を向上させることを目的とした学習時の正則化手法である。
- 実証結果はGenEvalとVBenchにおいて最も優れており、編集、フレーム予測、空間条件付き生成のパフォーマンスもタスク全体を通じて概ね競争力がある。