Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling
Abstractの概要
本論文は、現代のビジュアル生成に関するロードマップを提示し、この分野が単発の外観合成を超えて、知的でインタラクティブかつ因果関係に基づくワールドモデリングシステムへと進化する必要があると主張している。原子的生成（Atomic Generation）、条件付き生成（Conditional Generation）、文脈内生成（In-Context Generation）、エージェント型生成（Agentic Generation）、ワールドモデリング生成（World-Modeling Generation）の5段階の能力分類体系を導入し、アーキテクチャのみならず発揮される能力の種類に基づいて研究を整理している。本サーベイは、基盤となる生成パラダイム（GAN、拡散モデル、フローマッチング、自己回帰型、ハイブリッドモデル）、アーキテクチャ構成要素、学習および後段学習手法（SFT、DPO、GRPO、報酬モデリングを含む）、データキュレーション、評価手法、インフラ、応用分野を統合的にまとめている。さらに、ベンチマークベースの評価に加え、8つの次元（空間構造化、物理推論、視覚-テキスト統合、マルチターン編集のドリフト、人間中心の編集、低レベルビジョン、分野横断的応用、高レベルビジョンタスク）にわたる実環境ストレステストを実施し、現行システムの成功点と限界を特定している。
新規性
本論文の主要な新規性は、ビジュアル生成を受動的な単一パスレンダリングから閉ループ型エージェントインタラクション、さらに因果関係に基づくワールドモデリングへの入れ子構造的な進化として再定義する、能力中心の5段階分類体系にある。さらに、この概念的枠組みと、8つの評価次元にわたる構造化されたストレステストケーススタディを組み合わせ、具体的な失敗モードを分類体系の特定レベルに対応付けることで、標準的なベンチマークでは見えにくいギャップを明らかにしている点で独自性を持つ。
成果
本サーベイは、近年のビジュアル生成システムがフローマッチング、理解と生成を統合するアーキテクチャ、および後段学習によるアラインメントに支えられ、フォトリアリズム、タイポグラフィ、指示追従、参照ベース編集、マルチモーダル統合において大きな進歩を遂げたことを明らかにしている。しかし、8つの次元にわたるストレステストでは、空間精度、長期的一貫性、アイデンティティ保持、物理的・因果的推論、マルチターン編集の安定性、および専門知識の生成において持続的な弱点が存在することが示され、高い知覚品質が構造的・時間的・因果的な整合性の習得を意味するわけではないことが実証されている。
論文の注目点
- 本研究は、原子的生成・条件付き生成・文脈内生成・エージェント型生成・ワールドモデリング生成の5段階分類体系を提案し、能力の成長を単一パスレンダリングから因果関係に基づくワールドシミュレーションへの入れ子構造的な拡張として定義し、各レベルが質的に新しい能力を付加するものとしている。
- 拡散モデルからフローマッチングへの移行、理解と生成を統合するアーキテクチャ、改善された視覚表現、後段学習によるアラインメント（SFT、DPO、GRPO）、報酬モデリング、VLMによる再ラベリングを伴う大規模データキュレーション、蒸留によるインファレンス高速化など、近年の進歩を支える主要な技術的要因を統合的に整理している。
- 評価手法として、ベンチマークレビューと8つの次元（空間構造化、物理推論、視覚-テキスト論理、マルチターンドリフト、人間中心の編集、低レベルビジョン、分野横断的応用、高レベルビジョンタスク）にわたる実環境ストレステストを組み合わせ、高い知覚品質が構造的・時間的・因果的推論における失敗を覆い隠し得ることを示している。
参考リンク
- arXiv: https://arxiv.org/abs/2604.28185v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2604.28185v1
- Hugging Face Papers: https://huggingface.co/papers/2604.28185