Fugu-MT 論文翻訳(概要): Multimodal Large Language Models for Multi-Subject In-Context Image Generation

論文の概要: Multimodal Large Language Models for Multi-Subject In-Context Image Generation

arxiv url: http://arxiv.org/abs/2604.07422v1
Date: Wed, 08 Apr 2026 15:37:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-10 18:34:05.469352
Title: Multimodal Large Language Models for Multi-Subject In-Context Image Generation
Title（参考訳）: マルチオブジェクトインコンテキスト画像生成のためのマルチモーダル大言語モデル
Authors: Yucheng Zhou, Dubing Chen, Huan Zheng, Jianbing Shen,
Abstract要約: 音楽は、textbfMUlti-textbfSubject textbfIn-textbfContextイメージ生成用に特別に設計された最初のMLLMである。我々は,視覚連鎖機構による多目的意味関係の理解を深める。訓練中に複雑な被写体画像を取り込むことで,連鎖推論におけるモデルの能力を向上させる。
参考スコア（独自算出の注目度）: 56.20395856287325
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in text-to-image (T2I) generation have enabled visually coherent image synthesis from descriptions, but generating images containing multiple given subjects remains challenging. As the number of reference identities increases, existing methods often suffer from subject missing and semantic drift. To address this problem, we propose MUSIC, the first MLLM specifically designed for \textbf{MU}lti-\textbf{S}ubject \textbf{I}n-\textbf{C}ontext image generation. To overcome the data scarcity, we introduce an automatic and scalable data generation pipeline that eliminates the need for manual annotation. Furthermore, we enhance the model's understanding of multi-subject semantic relationships through a vision chain-of-thought (CoT) mechanism, guiding step-by-step reasoning from subject images to semantics and generation. To mitigate identity entanglement and manage visual complexity, we develop a novel semantics-driven spatial layout planning method and demonstrate its test-time scalability. By incorporating complex subject images during training, we improve the model's capacity for chained reasoning. In addition, we curate MSIC, a new benchmark tailored for multi-subject in-context generation. Experimental results demonstrate that MUSIC significantly surpasses other methods in both multi- and single-subject scenarios.
Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)生成の最近の進歩により、記述から視覚的にコヒーレントな画像合成が可能になったが、複数の被写体を含む画像を生成することは依然として困難である。参照アイデンティティの数が増えるにつれて、既存の手法は被写体不足や意味の漂流に悩まされることが多い。この問題に対処するために,MUSICを提案する。このMLLMは,テキスト画像生成に特化して設計された最初のMLLMである。データ不足を克服するため、手動のアノテーションを必要としない自動でスケーラブルなデータ生成パイプラインを導入しました。さらに,マルチオブジェクトのセマンティック関係の理解を視覚連鎖(CoT)機構を通じて強化し,対象画像から意味論と生成へのステップバイステップ推論を導く。アイデンティティの絡み合いを軽減し、視覚的複雑さを管理するために、セマンティクス駆動型空間レイアウト計画法を開発し、そのテスト時間拡張性を実証する。訓練中に複雑な被写体画像を取り込むことで,連鎖推論におけるモデルの能力を向上させる。さらに、マルチオブジェクトインコンテキスト生成に適した新しいベンチマークであるMSICをキュレートする。実験の結果,MUSICはマルチオブジェクトとシングルオブジェクトの両方のシナリオにおいて,他の手法をはるかに上回っていることがわかった。

関連論文リスト

MICON-Bench: Benchmarking and Enhancing Multi-Image Context Image Generation in Unified Multimodal Models [89.89575486159795]
マルチイメージコンテキスト生成のためのベンチマークである textbfMICON-Bench を導入する。本稿では,意味的および視覚的整合性の自動検証のためのMLLM駆動型評価-Checkpointフレームワークを提案する。また、推論中に注意を動的に調整し、コヒーレンスを高め、幻覚を減らす訓練不要なプラグアンドプレイ機構であるtextbfDynamic Attention Rebalancing (DAR) を提案する。
論文参考訳（メタデータ） (2026-02-23T04:32:52Z)
Hierarchical Concept-to-Appearance Guidance for Multi-Subject Image Generation [22.845591588026366]
本稿では,高レベルの概念からきめ細かい外観まで,明示的で構造化された監視を提供するフレームワークを提案する。概念レベルでは、VAEの参照機能をランダムに省略するVAEドロップアウトトレーニング戦略を導入する。外観レベルでは、VLM由来の対応文を対応認識型マスキングアテンションモジュールに統合する。
論文参考訳（メタデータ） (2026-02-03T12:13:29Z)
Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
論文参考訳（メタデータ） (2025-10-02T00:40:02Z)
Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation [63.50827603618498]
マルチモーダル理解と生成のための統一型マスク付き拡散モデル(MDM)であるLavida-Oを提案する。 Lavida-Oは、画像レベルの理解、オブジェクトのグラウンド化、画像編集、高解像度のテキスト・ツー・イメージ合成を可能にする単一のフレームワークを提供する。 Lavida-Oは、RefCOCOオブジェクトグラウンド、GenEvalテキスト画像生成、ImgEdit画像編集など、幅広いベンチマークで最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-09-23T17:05:46Z)
Unleashing In-context Learning of Autoregressive Models for Few-shot Image Manipulation [70.95783968368124]
我々は、$textbfInstaManip$と呼ばれる新しいマルチモーダル自動回帰モデルを導入する。本稿では,コンテキスト内学習プロセスを2つの段階に分割する,革新的なグループ自己認識機構を提案する。提案手法は、過去の数ショット画像操作モデルよりも顕著なマージンを超越している。
論文参考訳（メタデータ） (2024-12-02T01:19:21Z)
Advanced Multimodal Deep Learning Architecture for Image-Text Matching [33.8315200009152]
画像テキストマッチングは、画像とテキスト間の意味的関連をマッチング関係としてモデル化することを目的とした、重要なマルチモーダルタスクである。本稿では、視覚情報のための深層ニューラルネットワークの高レベル抽象表現能力と、テキスト意味理解のための自然言語処理モデルの利点を組み合わせた高度なマルチモーダルディープラーニングアーキテクチャを提案する。実験の結果、既存の画像テキストマッチングモデルと比較して、最適化された新しいモデルは一連のベンチマークデータセットの性能を大幅に改善した。
論文参考訳（メタデータ） (2024-06-13T08:32:24Z)
MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance [5.452759083801634]
本研究では,マルチオブジェクトを用いたレイアウト誘導ゼロショット画像パーソナライズのためのMS-Diffusionフレームワークを提案する。提案した多目的クロスアテンションオーケストラは、テキストの制御を保ちながら、オブジェクト間コンポジションを編成する。
論文参考訳（メタデータ） (2024-06-11T12:32:53Z)
Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
論文参考訳（メタデータ） (2024-04-03T23:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。