Fugu-MT 論文翻訳(概要): Reinforcing the Generation Order of Multimodal Masked Diffusion Models

論文の概要: Reinforcing the Generation Order of Multimodal Masked Diffusion Models

arxiv url: http://arxiv.org/abs/2607.08056v1
Date: Thu, 09 Jul 2026 02:07:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.393418
Title: Reinforcing the Generation Order of Multimodal Masked Diffusion Models
Title（参考訳）: マルチモーダルマスク付き拡散モデルの生成順序の強化
Abstract要約: グループ相対政策最適化(GRPO)を用いて学習可能な制御モジュールを導入し,生成順序を決定する。この制御ブロックの学習は,拡散言語モデルにおけるテキスト・画像のアライメントとマルチモーダル理解の両方を大幅に改善することを示す。
参考スコア（独自算出の注目度）: 6.5976113604335564
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion Language Models (DLMs) have recently achieved substantial progress in natural language generation tasks. Recent research demonstrates that adaptive token generation ordering can significantly improve performance in mathematical reasoning and code synthesis applications. In this work, we investigate the optimization of generation order for both text-to-image synthesis and multimodal understanding. We first establish that, unlike structured problems in language generation such as Sudoku puzzles, model logits alone are insufficient for determining optimal generation sequences in text-to-image generation and multimodal understanding. To address this challenge, we introduce a learnable control module trained via Group Relative Policy Optimization (GRPO) to determine the generation order. Our results demonstrate that learning this control block substantially improves both text-to-image alignment and multimodal understanding in DLMs. In particular, it enhances the model's ability to capture fine-grained spatial relationships in generated images while also strengthening performance on multimodal reasoning and comprehension tasks. We evaluate our framework on GenEval, an object-focused benchmark for text-to-image alignment, where it achieves 4.08% relative improvements. In addition, experiments on VLMEvalKit confirm 4.85% relative improvements in multimodal understanding, highlighting the broad effectiveness of our approach.
Abstract（参考訳）: 拡散言語モデル(DLM)は近年,自然言語生成タスクにおいて大きな進歩を遂げている。近年の研究では、適応トークン生成順序付けは、数学的推論およびコード合成アプリケーションの性能を著しく向上させることができることが示されている。本研究では,テキストと画像の合成とマルチモーダル理解の両方において生成順序の最適化について検討する。まず、スドゥークパズルのような言語生成の構造化問題とは異なり、モデルロジットだけではテキスト・画像生成やマルチモーダル理解において最適な生成シーケンスを決定するには不十分であることを示す。この課題に対処するため,グループ相対政策最適化(GRPO)を用いて学習可能な制御モジュールを導入し,生成順序を決定する。この制御ブロックの学習はDLMにおけるテキスト・画像のアライメントとマルチモーダル理解の両方を大幅に改善することを示す。特に、モデルが生成した画像のきめ細かい空間関係を捉える能力を高め、マルチモーダル推論や理解タスクの性能を高める。我々は、テキストと画像のアライメントのためのオブジェクト中心のベンチマークであるGenEvalのフレームワークを評価し、4.08%の相対的な改善を実現した。さらに, VLMEvalKit実験により, マルチモーダル理解の相対的な改善が4.85%確認された。

関連論文リスト

The Thinking Pixel: Recursive Sparse Reasoning in Multimodal Diffusion Latents [13.516336193977144]
本稿では,テキスト・画像生成タスクを解決するために,従来の拡散モデルに統合されたスパース・ミックス・オブ・エキスパート・フレームワークを提案する。我々のアプローチは、複数の潜伏ステップで視覚トークンを反復的に洗練し、神経モジュールのスパース選択によってパラメータを効率的に共有する。クラス条件の画像ネット画像生成タスクの総合評価とGenEvalおよびDPGベンチマークのさらなる研究により、モデル画像生成性能を向上させる上で提案手法が優れていることを示す。
論文参考訳（メタデータ） (2026-04-28T07:09:18Z)
Towards Unified Multimodal Interleaved Generation via Group Relative Policy Optimization [35.14373974143734]
既存の統一モデルにおいて,この能力を解放するための強化学習に基づくポストトレーニング戦略を提案する。提案手法は,1つの復号軌道内でのテキスト生成と画像生成を共同でモデル化し,新たなハイブリッド報酬で最適化する。 MMIEとInterleavedBenchの実験により,マルチモーダルインターリーブド生成の品質とコヒーレンスを大幅に向上させることが実証された。
論文参考訳（メタデータ） (2026-03-10T11:49:20Z)
Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
論文参考訳（メタデータ） (2025-10-02T00:40:02Z)
Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
論文参考訳（メタデータ） (2025-09-30T17:59:46Z)
Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation [63.50827603618498]
マルチモーダル理解と生成のための統一型マスク付き拡散モデル(MDM)であるLavida-Oを提案する。 Lavida-Oは、画像レベルの理解、オブジェクトのグラウンド化、画像編集、高解像度のテキスト・ツー・イメージ合成を可能にする単一のフレームワークを提供する。 Lavida-Oは、RefCOCOオブジェクトグラウンド、GenEvalテキスト画像生成、ImgEdit画像編集など、幅広いベンチマークで最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-09-23T17:05:46Z)
Interleaving Reasoning for Better Text-to-Image Generation [83.69082794730664]
テキストベース思考と画像合成を交互に行うIRG(Interleaving Reasoning Generation)を提案する。 IRGを効果的に訓練するために,2つのサブゴールをターゲットにしたIRGL(Interleaving Reasoning Generation Learning)を提案する。実験の結果、SoTAの性能はGenEval, WISE, TIIF, GenAI-Bench, OneIG-ENで5～10ポイント向上した。
論文参考訳（メタデータ） (2025-09-08T17:56:23Z)
SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
論文参考訳（メタデータ） (2025-06-09T17:38:45Z)
MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO [87.52631406241456]
近年のテキスト・ツー・イメージシステムは、マルチモーダル入力や複雑な推論タスクの処理において制限に直面している。我々は、強化学習による推論生成を取り入れ、これらの課題に対処する統合マルチモーダルな大規模言語モデルであるMind Omniを紹介する。
論文参考訳（メタデータ） (2025-05-19T12:17:04Z)
Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。 Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
論文参考訳（メタデータ） (2025-05-08T17:58:57Z)
Harmonizing Visual Text Comprehension and Generation [31.605599298507293]
視覚テキストの理解と生成に長けた,統一的で汎用的なマルチモーダル生成モデルであるTextHarmonyを提案する。我々は,多モード生成空間を部分的に分離して,モダリティ特化およびモダリティ非依存のLoRAエキスパートを集約するSlide-LoRAを提案する。様々なベンチマークによる総合的な実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2024-07-23T10:11:56Z)
Generating Images with Multimodal Language Models [78.6660334861137]
本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
論文参考訳（メタデータ） (2023-05-26T19:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。