論文の概要: Mural: Transferring LLM knowledge to image generation via Mixture-of-Transformers

• arxiv url: http://arxiv.org/abs/2606.29013v1
• Date: Sat, 27 Jun 2026 17:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.759433
• Title: Mural: Transferring LLM knowledge to image generation via Mixture-of-Transformers
• Title（参考訳）: Mural:Mixture-of-TransformersによるLLM知識のイメージ生成
• Abstract要約: テキスト・ツー・イメージ(T2I)合成における大規模言語モデル(LLM)の活用は重要な研究方向である。 我々は,標準のテキストイメージペアにのみトレーニングを行う場合,冷凍LDMの知識がT2I生成において有効に活用できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 10.01730911078141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging capabilities of large language models (LLMs) in text-to-image (T2I) synthesis is an important research direction. In this work we investigate whether the knowledge of a frozen LLM can be effectively utilized in T2I generation when trained exclusively on standard text-image pairs. We integrate a frozen, reasoning-capable LLM with a diffusion-based image generator via shared attention within the Mixture-of-Transformers (MoT) architecture. Our experiments span two critical questions: (1) what degree of the LLM's intrinsic knowledge remains accessible during T2I training, and (2) what novel capabilities emerge in the resulting system. Across established benchmarks, our models achieve strong performance among unified understanding-generation systems: 0.85 on GenEval, 86.75 on DPG-Bench, and 0.66 on WISE with inference-time reasoning, using only text-image data. Remarkably, we uncover emergent behaviors absent from training data, including cross-lingual image generation, color-guided composition, emoji / ASCII scene construction, and generation directed by world knowledge. These results demonstrate that pretrained LLM knowledge can guide image synthesis under standard text-to-image training paradigms, without interleaved multimodal signals or explicit reasoning supervision. Our findings open new avenues for harnessing frozen model capabilities in resource-constrained multimodal learning.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)合成における大規模言語モデル(LLM)の活用は重要な研究方向である。 本研究は,標準のテキストイメージペアのみをトレーニングする場合に,冷凍LDMの知識をT2I世代で有効に活用できるかどうかを検討する。 我々は,Mixture-of-Transformers (MoT) アーキテクチャにおいて,拡散型画像生成器と凍結解析可能なLCMを統合した。 本実験は,(1)本研究の本質的な知識の程度が,T2Iトレーニング中にどの程度アクセス可能か,(2)本システムに新たな能力が現れるか,という2つの重要な疑問に対処する。 確立されたベンチマークでは,GenEvalでは0.85, DPG-Benchでは86.75, WISEでは0.66, テキスト画像データのみを用いた推論時間推論では0。 注目すべきは、言語間画像生成、色誘導合成、絵文字/ASCIIシーン構築、世界知識による生成など、トレーニングデータに欠けている創発的行動を明らかにすることである。 これらの結果は,事前学習したLLM知識が,マルチモーダル信号のインターリーブや明確な推論監督を伴わずに,標準的なテキスト・イメージ・トレーニングパラダイムの下で画像合成をガイドできることを実証している。 本研究は,資源制約型マルチモーダル学習における凍結モデル機能を活用するための新たな道を開く。

関連論文リスト

• Janus-Pro-R1: Advancing Collaborative Visual Comprehension and Generation via Reinforcement Learning [92.57052246970254]
  視覚的理解と生成の協調的共進化を可能にすることを提案する。 教師付き微調整は、真のCoTを生成する基礎的な能力を持つMLLMを指導する。 画像生成におけるAhaモーメントを解き、テキスト・ツー・イメージタスクから統合画像生成へMLLMを前進させる。
  論文  参考訳（メタデータ） (2025-06-02T09:39:28Z)
• LMFusion: Adapting Pretrained Language Models for Multimodal Generation [81.78257799283777]
  LMFusionは、事前訓練されたテキストのみの大規模言語モデル(LLM)をマルチモーダル生成機能で強化するフレームワークである。 複数モーダル生成モデルをスクラッチから事前訓練する手法と比較して, LMFusionは画像理解を20%改善し, 画像生成を3.6%改善し, FLOPの50%しか利用できないことを示した。
  論文  参考訳（メタデータ） (2024-12-19T18:56:24Z)
• MetaMorph: Multimodal Understanding and Generation via Instruction Tuning [57.35160715164359]
  視覚予測インストラクションチューニング(VPiT)は、視覚的インストラクションチューニングへのシンプルで効果的な拡張である。 VPiT は LLM に、画像およびテキストデータの入力シーケンスから離散テキストトークンと連続的な視覚トークンを予測するように教える。 MetaMorphモデルをトレーニングし、視覚的理解と生成の両面での競争性能を達成する。
  論文  参考訳（メタデータ） (2024-12-18T18:58:50Z)
• Mini-DALLE3: Interactive Text to Image by Prompting Large Language Models [71.49054220807983]
  一般的な制限は、自然言語記述を用いた安定拡散のようなT2Iモデルとの効果的な通信に持続する。 最近リリースされたDALLE3に触発されて、人間の意図を一致させ、新しいタスク、インタラクティブテキスト・トゥ・イメージ(iT2I)を導入すべく、既存のT2Iシステムを再考した。 我々は,iT2I の LLM を補助的手法と既製の T2I モデルで拡張する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T16:53:40Z)
• Planting a SEED of Vision in Large Language Model [73.17530130368053]
  このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。 このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
  論文  参考訳（メタデータ） (2023-07-16T13:41:39Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation [51.08810811457617]
  LLMにおける視覚言語アライメントは、マルチモーダル推論とビジュアルIOを可能にするために活発に研究されている。 医用画像の視覚言語能力を得るために,テキストのみにLLMを指導する手法を開発した。 このアプローチで訓練したLLM-CXRは,CXR理解タスクと生成タスクの両方において,より優れた画像テキストアライメントを示す。
  論文  参考訳（メタデータ） (2023-05-19T07:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。