論文の概要: Interleaving Reasoning for Better Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2509.06945v2
• Date: Tue, 09 Sep 2025 10:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 12:33:22.851767
• Title: Interleaving Reasoning for Better Text-to-Image Generation
• Title（参考訳）: より良いテキスト・画像生成のためのインターリービング推論
• Abstract要約: テキストベース思考と画像合成を交互に行うIRG(Interleaving Reasoning Generation)を提案する。 IRGを効果的に訓練するために,2つのサブゴールをターゲットにしたIRGL(Interleaving Reasoning Generation Learning)を提案する。 実験の結果、SoTAの性能はGenEval, WISE, TIIF, GenAI-Bench, OneIG-ENで5～10ポイント向上した。
• 参考スコア（独自算出の注目度）: 83.69082794730664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal understanding and generation models recently have achieve significant improvement in image generation capability, yet a large gap remains in instruction following and detail preservation compared to systems that tightly couple comprehension with generation such as GPT-4o. Motivated by recent advances in interleaving reasoning, we explore whether such reasoning can further improve Text-to-Image (T2I) generation. We introduce Interleaving Reasoning Generation (IRG), a framework that alternates between text-based thinking and image synthesis: the model first produces a text-based thinking to guide an initial image, then reflects on the result to refine fine-grained details, visual quality, and aesthetics while preserving semantics. To train IRG effectively, we propose Interleaving Reasoning Generation Learning (IRGL), which targets two sub-goals: (1) strengthening the initial think-and-generate stage to establish core content and base quality, and (2) enabling high-quality textual reflection and faithful implementation of those refinements in a subsequent image. We curate IRGL-300K, a dataset organized into six decomposed learning modes that jointly cover learning text-based thinking, and full thinking-image trajectories. Starting from a unified foundation model that natively emits interleaved text-image outputs, our two-stage training first builds robust thinking and reflection, then efficiently tunes the IRG pipeline in the full thinking-image trajectory data. Extensive experiments show SoTA performance, yielding absolute gains of 5-10 points on GenEval, WISE, TIIF, GenAI-Bench, and OneIG-EN, alongside substantial improvements in visual quality and fine-grained fidelity. The code, model weights and datasets will be released in: https://github.com/Osilly/Interleaving-Reasoning-Generation .
• Abstract（参考訳）: 統一マルチモーダル理解と生成モデルは、画像生成能力を大幅に向上させたが、GPT-4oのような生成と密結合するシステムと比較して、命令と詳細保存に大きなギャップが残っている。 近年のインターリーブ推論の進歩により,テキスト・ツー・イメージ・ジェネレーション(T2I)のさらなる向上が期待できるかどうかを探る。 テキストベースの思考と画像合成を交互に行うフレームワークであるInterleaving Reasoning Generation (IRG)を導入し、まず最初にテキストベースの思考を生成して初期画像のガイドを行い、その結果を反映して、セマンティクスを保存しながら詳細な詳細、視覚的品質、美学を洗練させる。 IRGを効果的に訓練するために,(1)初期思考・生成段階を強化し,コアコンテンツとベース品質を確立し,(2)高品質なテキストリフレクションを実現し,それらの改良を忠実に実施する,インターリービング推論生成学習(IRGL)を提案する。 IRGL-300Kは、学習テキストベースの思考と完全な思考イメージの軌跡を共同でカバーする6つの分割学習モードで構成されたデータセットである。 インターリーブされたテキストイメージ出力をネイティブに出力する統一基盤モデルから始めると、2段階のトレーニングはまず、堅牢な思考とリフレクションを構築し、次に、完全な思考イメージ軌跡データでIRGパイプラインを効率的にチューニングする。 広汎な実験により、SoTAの性能は、GenEval, WISE, TIIF, GenAI-Bench, OneIG-ENの5～10点の絶対ゲインとなり、視覚的品質と微細なフィディリティが大幅に向上した。 コード、モデルウェイト、データセットは、https://github.com/Osilly/Interleaving-Reasoning-Generation でリリースされる。

関連論文リスト

• Unified Text-Image Generation with Weakness-Targeted Post-Training [57.956648078400775]
  テキストと画像を共同で生成する統一マルチモーダル生成アーキテクチャは、最近、テキスト・ツー・イメージ(T2I)合成の有望な方向として登場した。 この研究は、モデルがテキスト推論から視覚合成へ自律的に遷移する、完全に統一されたテキスト画像生成を実現するためのポストトレーニングを探求する。
  論文  参考訳（メタデータ） (2026-01-07T19:19:44Z)
• ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL [54.100889131719626]
  連鎖推論と強化学習がNLPの突破口となった。 我々はReasonGen-R1を紹介した。ReasonGen-R1は自動回帰画像生成器に明示的なテキストベースの「思考」スキルを付与するフレームワークである。 ReasonGen-R1は、強いベースラインや先行技術モデルよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:59:48Z)
• GoT-R1: Unleashing Reasoning Capability of MLLM for Visual Generation with Reinforcement Learning [47.592351387052545]
  GoT-R1は、視覚生成における意味空間推論を強化するために強化学習を適用するフレームワークである。 本稿では,MLLMを用いた2段階多次元報酬フレームワークを提案する。 実験の結果, T2I-CompBenchベンチマークで有意な改善が認められた。
  論文  参考訳（メタデータ） (2025-05-22T17:59:58Z)
• Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
  We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。 我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。 画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
  論文  参考訳（メタデータ） (2025-03-17T17:58:30Z)
• TIGeR: Unifying Text-to-Image Generation and Retrieval with Large Multimodal Models [96.72318842152148]
  1つのLMM(Large Multimodal Model)を用いたテキスト・画像生成と検索のための統合フレームワークを提案する。 具体的には,LMMの本質的な識別能力について検討し,テキスト・画像検索のための効率的な生成的検索手法を提案する。 次に、テキストプロンプトに対する応答として、生成画像と検索画像の間で最適なマッチング画像を選択するための自律決定機構を提案する。
  論文  参考訳（メタデータ） (2024-06-09T15:00:28Z)
• Refining Text-to-Image Generation: Towards Accurate Training-Free Glyph-Enhanced Image Generation [5.55027585813848]
  視覚テキストを生成する能力は重要であり、学術的関心と幅広い実践的応用の両方を提供する。 我々はLenCom-Evalというベンチマークを導入し、Lengthy と Complex Visual Text を用いて画像を生成するモデルの性能をテストする。 ここでは,CLIPSスコア,OCR精度,リコール,F1スコア,精度,距離スコアの編集など,様々な評価指標に対する顕著な改善点を示す。
  論文  参考訳（メタデータ） (2024-03-25T04:54:49Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• DU-VLG: Unifying Vision-and-Language Generation via Dual Sequence-to-Sequence Pre-training [37.15272352614968]
  シーケンス生成問題として視覚・言語生成を統一するフレームワークであるDU-VLGを提案する。 Du-VLGは、マルチモーダルな自動エンコーダタスクとモダリティ変換タスクという、新しい2つの事前訓練タスクで訓練されている。 その結果, DU-VLGは一方向生成目標を訓練した変種や, コミットメント損失を伴わない変種よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-17T03:18:22Z)
• ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation [22.47279425592133]
  ERNIE-ViLGは,双方向画像テキスト生成のための統合型事前学習フレームワークである。 テキスト・ツー・イメージ生成プロセスにおいて,視覚的シーケンス生成器と画像再構成器を協調的に学習するエンドツーエンド・トレーニング手法を提案する。 我々は,1億4500万(中国語)の画像テキストペアからなる大規模データセット上で,10ビリオンパラメータERNIE-ViLGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-12-31T03:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。