論文の概要: Decoupled Vision-Language System for Multimodal Understanding and Generation

• arxiv url: http://arxiv.org/abs/2608.20382v1
• Date: Mon, 29 Jun 2026 12:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.292592
• Title: Decoupled Vision-Language System for Multimodal Understanding and Generation
• Title（参考訳）: マルチモーダル理解・生成のためのデカップリング型ビジョンランゲージシステム
• Abstract要約: マルチモーダルな大言語モデル(MLLM)のための新しいアーキテクチャ設計、Libraを導入し、マルチモーダルな理解と生成を両立させる。 Libraアーキテクチャは1つの視覚システムと1つの言語システムを含み、クロスモーダルブリッジで接続される。 この設計は、自己モーダルモデリングと相互モーダル相互作用を分離し、各モーダルが効果的な相互モーダル理解を維持しながら、そのユニークな表現を学習できるようにする。
• 参考スコア（独自算出の注目度）: 89.34379992467393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new architecture design for multimodal large language models (MLLMs), Libra, capable of both multimodal understanding and generation. Libra architecture contains one vision system and one language system, connected by cross-modal bridges. This design decouples self-modal modeling and cross-modal interaction, enabling each modality to learn its unique representations while maintaining effective cross-modal comprehension. The decoupling is mainly achieved in a switch attention module and a switch FFN module, which dynamically routes the computation flow for self-modal modeling and cross-modal interaction scenarios. We evaluate the effectiveness in two important settings: \textbf{Libra-1} for the understanding-only image-to-text setting, and \textbf{Libra-2} for unified image-to-text understanding and text-to-image generation. In addition to the architecture design, we discuss various improvements on tokenization, positional encoding, and supervision. Experiments demonstrate that the dedicated Libra design enables mutual improvements on multimodal understanding and generation, achieving strong performance on both understanding and generation benchmarks.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)のための新しいアーキテクチャ設計、Libraを導入し、マルチモーダルな理解と生成を両立させる。 Libraアーキテクチャは1つの視覚システムと1つの言語システムを含み、クロスモーダルブリッジで接続される。 この設計は、自己モーダルモデリングと相互モーダル相互作用を分離し、各モーダルが効果的な相互モーダル理解を維持しながら、そのユニークな表現を学習できるようにする。 このデカップリングは主にスイッチアテンションモジュールとスイッチFFNモジュールで実現され、セルフモーダルモデリングとクロスモーダル相互作用シナリオのための計算フローを動的にルーティングする。 理解のみのイメージ・トゥ・テキスト・セッティングのための \textbf{Libra-1} と、統合された画像・テキスト・理解のための \textbf{Libra-2} と、テキスト・トゥ・画像生成のための \textbf{Libra-1} の2つの重要な設定における有効性を評価する。 アーキテクチャ設計に加えて、トークン化、位置符号化、監視に関する様々な改善についても論じる。 実験により、Libraの設計はマルチモーダルな理解と生成を相互に改善し、理解と生成のベンチマークで高い性能を達成することができることが示された。

関連論文リスト

• Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation [68.03746493619285]
  視覚理解,テキスト・ツー・イメージ生成,指導誘導画像編集のための統合マルチモーダル基盤モデルであるJoyAI-Imageを提案する。 我々は,一貫した命令チューニング,長文レンダリングの監督,空間的接地データ,一般および空間的編集信号を組み合わせたスケーラブルなトレーニングレシピを構築した。 JoyAI-Imageは、理解、生成、長文レンダリング、および編集ベンチマークにまたがる実験により、最先端または競争力の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-05T15:49:47Z)
• Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
  統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。 本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。 実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-30T17:59:46Z)
• VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models [82.05514464090172]
  マルチモーダルな大言語モデル(MLLM)は、視覚的およびテキスト的理解の統合を著しく進歩させてきた。 しかし、マルチモーダル入力からコードを生成する能力は依然として限られている。 視覚とコーディング言語モデルをシームレスにマージする統合フレームワークであるVisCodexを紹介します。
  論文  参考訳（メタデータ） (2025-08-13T17:00:44Z)
• Unified Multimodal Understanding via Byte-Pair Visual Encoding [34.96534298857146]
  マルチモーダル大言語モデル (MLLM) は視覚言語理解において大きな進歩を遂げている。 視覚トークンにバイトペアエンコーディングを適用することで,マルチモーダル理解を統一するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T09:08:08Z)
• Show-o2: Improved Native Unified Multimodal Models [57.34173415412808]
  Show-o2は、自動回帰モデリングとフローマッチングを利用するネイティブ統合マルチモーダルモデルである。 3次元因果変分オートエンコーダ空間上に構築され、空間的(時間的)融合の二重経路によって統一された視覚表現が構成される。
  論文  参考訳（メタデータ） (2025-06-18T15:39:15Z)
• Libra: Building Decoupled Vision System on Large Language Models [63.28088885230901]
  大規模言語モデル(LLM)上の分離視覚システムを備えたプロトタイプモデルLibraを紹介する。 分離された視覚システムは、内部モーダルモデリングと相互モーダル相互作用を分離し、ユニークな視覚情報モデリングと効果的な相互モーダル理解をもたらす。
  論文  参考訳（メタデータ） (2024-05-16T14:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。