Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation
Abstractの概要
本論文では、現実世界におけるText-to-Image生成の主要な限界を、ユーザーが提供する部分的な情報とモデルが実際に必要とする完全な生成コンテキストとの間の「コンテキストギャップ」として位置づけています。この問題に対処するため、コンテキストを考慮したプランニング（Context-Aware Planning）とコンテキストのグラウンディング（Context Grounding）を通じて、段階的に生成コンテキストを構築する統合エージェントフレームワーク「Qwen-Image-Agent」を提案しています。プランニングモジュールは情報、コンテンツ、生成の各レベルで動作し、グラウンディング機能は推論、検索、メモリ、フィードバックから欠落している情報を収集します。また、現実世界のタスクにおけるプランニング、推論、検索、メモリといったエージェントベースの画像生成能力を評価するために設計されたベンチマーク「IA-Bench」も導入しています。
新規性
本研究の主な新規性は、現実世界での画像生成を直接的なプロンプトのレンダリングとしてではなく、コンテキスト構築の問題として明示的に扱っている点にあります。プランニング、推論、検索、メモリ、フィードバックを単一のコンテキスト中心のフレームワークに統合し、これらのエージェント能力を個別にではなく統合的に評価するベンチマーク「IA-Bench」と組み合わせています。
成果
IA-Benchにおいて、Qwen-Image-Agentは強力なクローズドソースのベースラインを上回る過去最高のIAスコア45.4を達成し、Qwen-Image-2.0による直接生成ベースライン（17.4）から大幅な向上を示しました。また、WISE-Verified（全体0.9020）およびMindBench（全体0.42）でも最新鋭（SOTA）の結果を報告しています。アブレーション研究により、推論、検索、メモリ、またはフィードバックを削除すると関連する能力が低下することが示され、グラウンディングに裏打ちされたコンテキスト構築の有効性が支持されています。
論文の注目点
- Qwen-Image-Agentは、コンテキストを考慮したプランニングと、推論、検索、メモリ、フィードバックを介したグラウンディングを使用し、ユーザーの部分的な情報から段階的に生成コンテキストを構築する。
- 構造化された評価のために、17のサブタスク、730のインスタンス、および1801のチェックリスト項目にわたって4つのエージェント能力を網羅するベンチマーク「IA-Bench」を導入した。
- 本フレームワークはIA-Bench、WISE-Verified、MindBenchにおいて最高水準の性能を確立し、直接的な生成手法と比較して特に大きな性能向上を示した。
参考リンク
- arXiv: https://arxiv.org/abs/2606.26907v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.26907v1
- Hugging Face Papers: https://huggingface.co/papers/2606.26907