Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System
Abstractの概要
本論文は、統合マルチモーダルモデルが単に1つのインターフェースを通じて両機能を提供するだけでなく、視覚的理解と画像生成の共同学習から実際に恩恵を受けているかを調査しています。事前学習済みビジョンエンコーダやVAEを使用しないネイティブなpixel-in, pixel-out設定を用い、著者らは表現、タスク、システムの3つのレベルで相互作用を分析しています。高密度共有、モダリティ分離、タスク分離のルーティング設計を比較し、共同学習がシナジーを生み出す状況と干渉を引き起こす状況を特定しています。研究全体を通じて、シナジーは条件的であり、アーキテクチャの専門化、共有されるタスク知識、およびエンドツーエンドの最適化に依存すると論じています。
新規性
本論文の主な新規性は、単なる製品機能としての統合ではなく、ネイティブ統合マルチモーダルモデルにおける理解と生成のシナジーについて、制御された3レベルの分析を実施した点にあります。また、理解と生成における相反する視覚計算を分離しつつ、両者間の意味的相互作用を維持するタスク分離型MoT設計を提案しています。
成果
表現レベルでは、生成が理解に有用な特徴を豊かにし、理解が生成に有用な視覚と言語のアライメントを向上させる一方で、単純な共有は非対称な劣化を引き起こすことが判明しました。著者らのタスク分離型MoTはこのトレードオフを回避し、最もバランスの取れた性能を達成しています。タスクおよびシステムレベルでは、共同訓練により幾何学的推論、SVG双方向マッピング、3D空間知能が向上し、推論を要する画像編集ベンチマークにおいてエンドツーエンドUMMが同等のプランナー・エグゼキュータパイプラインを上回りました。
論文の注目点
- 理解と生成の共同訓練は自動的に有益となるわけではなく、その効果はルーティングやパラメータ共有のアーキテクチャに強く依存します。
- タスク分離型のネイティブUMMは、理解と生成の目的関数間の干渉を低減しつつ、意味的相互作用を保持できます。
- 理解と生成が根底にある知識を共有する場合、共同訓練によってタスク性能とエンドツーエンドのマルチモーダルシステムの両方が向上します。
参考リンク
- arXiv: https://arxiv.org/abs/2609.01607v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.01607v1
- Hugging Face Papers: https://huggingface.co/papers/2609.01607