論文の概要: Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation

• arxiv url: http://arxiv.org/abs/2509.19244v2
• Date: Wed, 24 Sep 2025 09:38:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 14:09:11.262576
• Title: Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation
• Title（参考訳）: Lavida-O: 統一マルチモーダル理解・生成のための弾性大マスク拡散モデル
• Authors: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen,
• Abstract要約: マルチモーダル理解と生成のための統一型マスク付き拡散モデル(MDM)であるLavida-Oを提案する。 Lavida-Oは、画像レベルの理解、オブジェクトのグラウンド化、画像編集、高解像度のテキスト・ツー・イメージ合成を可能にする単一のフレームワークを提供する。 Lavida-Oは、RefCOCOオブジェクトグラウンド、GenEvalテキスト画像生成、ImgEdit画像編集など、幅広いベンチマークで最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 63.50827603618498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Lavida-O, a unified Masked Diffusion Model (MDM) for multimodal understanding and generation. Unlike existing multimodal MDMs such as MMaDa and Muddit which only support simple image-level understanding tasks and low-resolution image generation, Lavida-O presents a single framework that enables image-level understanding, object grounding, image editing, and high-resolution (1024px) text-to-image synthesis. Lavida-O incorporates a novel Elastic Mixture-of-Transformers (Elastic-MoT) architecture that couples a lightweight generation branch with a larger understanding branch, supported by token compression, universal text conditioning and stratified sampling for efficient and high-quality generation. Lavida-O further incorporates planning and iterative self-reflection in image generation and editing tasks, seamlessly boosting generation quality with its understanding capabilities. Lavida-O achieves state-of-the-art performance on a wide range of benchmarks including RefCOCO object grounding, GenEval text-to-image generation, and ImgEdit image editing, outperforming existing autoregressive models and continuous diffusion models such as Qwen2.5-VL and FluxKontext-dev, while offering considerable speedup at inference. These advances establish Lavida-O as a new paradigm for scalable multimodal reasoning and generation.
• Abstract（参考訳）: マルチモーダル理解と生成のための統一型マスク付き拡散モデル(MDM)であるLavida-Oを提案する。 単純な画像レベルの理解タスクと低解像度の画像生成のみをサポートするMMaDaやMuditのような既存のマルチモーダルMDMとは異なり、Lavida-Oは画像レベルの理解、オブジェクトの接地、画像編集、高解像度(1024px)のテキスト・ツー・イメージ合成を可能にする単一のフレームワークを提供する。 Lavida-OはElastic Mixture-of-Transformers(Elastic-MoT)アーキテクチャを取り入れ、トークン圧縮、ユニバーサルテキストコンディショニング、高効率で高品質な生成のための階層化サンプリングをサポートする、より大規模な理解ブランチと軽量な生成ブランチを結合する。 Lavida-Oはさらに、画像生成および編集タスクにおける計画と反復的な自己回帰を取り入れ、その理解能力によって生成品質をシームレスに向上させる。 Lavida-Oは、RefCOCOオブジェクトグラウンド、GenEvalのテキスト・ツー・イメージ生成、ImgEditイメージ編集を含む幅広いベンチマークで最先端のパフォーマンスを実現し、既存の自己回帰モデルやQwen2.5-VLやFluxKontext-devのような継続的拡散モデルよりも優れ、推論時の大幅なスピードアップを提供する。 これらの進歩は、スケーラブルなマルチモーダル推論と生成のための新しいパラダイムとしてLavida-Oを確立する。

関連論文リスト

• Muddit: Liberating Generation Beyond Text-to-Image with a Unified Discrete Diffusion Model [87.23753533733046]
  テキストと画像の両モードをまたいで高速かつ並列に生成できる,統一的な離散拡散変換器であるMudditを導入する。 Mudditは、スクラッチからトレーニングされた以前の統一拡散モデルとは異なり、トレーニング済みのテキストからイメージまでのバックボーンから、強力な視覚的事前情報を軽量のテキストデコーダに統合する。
  論文  参考訳（メタデータ） (2025-05-29T16:15:48Z)
• Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
  我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。 Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。 実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-08T17:58:57Z)
• ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement [68.05833403672274]
  既存の統一モデルでは、理解、生成、編集という3つの基本的な機能を統一モデルで扱うのに苦労している。 ILLUME+は、きめ細かいテクスチャとテキスト整合したセマンティクスを保存できる統合されたデュアルビジュアルトークンーであるDualViTokを導入した。 また、画像デトケナイザとして拡散モデルを用いて、生成品質と高効率超解像を実現する。
  論文  参考訳（メタデータ） (2025-04-02T17:45:00Z)
• Dual Diffusion for Unified Image Generation and Understanding [32.7554623473768]
  マルチモーダル理解と生成のための大規模かつ完全なエンドツーエンド拡散モデルを提案する。 我々は、画像とテキストの条件付き確率を同時にトレーニングするクロスモーダル最大推定フレームワークを活用する。 我々のモデルは、最近の統合画像理解・生成モデルと比較して、競争性能が向上した。
  論文  参考訳（メタデータ） (2024-12-31T05:49:00Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.57727062920458]
  本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• TIE: Revolutionizing Text-based Image Editing for Complex-Prompt Following and High-Fidelity Editing [23.51498634405422]
  マルチモーダルな大言語モデルの頑健な推論とローカライズ機能を活用した,革新的な画像編集フレームワークを提案する。 提案モデルでは,複雑なプロンプトを理解し,対応する画像を生成する能力が向上し,生成前後の画像の忠実度と一貫性が向上した。
  論文  参考訳（メタデータ） (2024-05-27T03:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。