論文の概要: GoT: Unleashing Reasoning Capability of Multimodal Large Language Model for Visual Generation and Editing

• arxiv url: http://arxiv.org/abs/2503.10639v1
• Date: Thu, 13 Mar 2025 17:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:52:25.165711
• Title: GoT: Unleashing Reasoning Capability of Multimodal Large Language Model for Visual Generation and Editing
• Title（参考訳）: GoT:ビジュアル生成と編集のためのマルチモーダル大言語モデルの推論能力の開放
• Authors: Rongyao Fang, Chengqi Duan, Kun Wang, Linjiang Huang, Hao Li, Shilin Yan, Hao Tian, Xingyu Zeng, Rui Zhao, Jifeng Dai, Xihui Liu, Hongsheng Li,
• Abstract要約: Generation Chain-of-Thought(GoT)は、明示的な言語推論プロセスを通じて生成と編集を可能にする新しいパラダイムである。 GoTは従来のテキストから画像への生成と編集を推論誘導フレームワークに変換する。
• 参考スコア（独自算出の注目度）: 66.33454784945293
• License:
• Abstract: Current image generation and editing methods primarily process textual prompts as direct inputs without reasoning about visual composition and explicit operations. We present Generation Chain-of-Thought (GoT), a novel paradigm that enables generation and editing through an explicit language reasoning process before outputting images. This approach transforms conventional text-to-image generation and editing into a reasoning-guided framework that analyzes semantic relationships and spatial arrangements. We define the formulation of GoT and construct large-scale GoT datasets containing over 9M samples with detailed reasoning chains capturing semantic-spatial relationships. To leverage the advantages of GoT, we implement a unified framework that integrates Qwen2.5-VL for reasoning chain generation with an end-to-end diffusion model enhanced by our novel Semantic-Spatial Guidance Module. Experiments show our GoT framework achieves excellent performance on both generation and editing tasks, with significant improvements over baselines. Additionally, our approach enables interactive visual generation, allowing users to explicitly modify reasoning steps for precise image adjustments. GoT pioneers a new direction for reasoning-driven visual generation and editing, producing images that better align with human intent. To facilitate future research, we make our datasets, code, and pretrained models publicly available at https://github.com/rongyaofang/GoT.
• Abstract（参考訳）: 現在の画像生成および編集方法は、視覚的構成や明示的な操作を考慮せずに、直接入力としてテキストプロンプトを処理している。 本稿では,画像出力前に明示的な言語推論プロセスを通じて生成と編集を可能にする新しいパラダイムであるGeneration Chain-of-Thought(GoT)を提案する。 このアプローチは、従来のテキストから画像への生成と編集を、意味的関係と空間的配置を分析する推論誘導フレームワークに変換する。 我々はGoTの定式化を定義し、意味空間関係を捉える詳細な推論チェーンを持つ9M以上のサンプルを含む大規模GoTデータセットを構築した。 GoTの利点を活かすために、我々は新しいセマンティック・空間誘導モジュールによって強化されたエンドツーエンド拡散モデルと、連鎖生成の推論のためのQwen2.5-VLを統合する統一フレームワークを実装した。 実験の結果、GoTフレームワークは生成タスクと編集タスクの両方で優れたパフォーマンスを実現しており、ベースラインよりも大幅に改善されている。 さらに,画像の正確な調整のための推論ステップをユーザが明示的に変更できるように,インタラクティブな視覚生成を可能にする。 GoTは推論駆動の視覚生成と編集のための新しい方向を開拓し、人間の意図に合わせた画像を生成する。 将来の研究を促進するため、データセット、コード、事前訓練されたモデルをhttps://github.com/rongyaofang/GoT.comで公開しています。

関連論文リスト

• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Zero-shot Generation of Coherent Storybook from Plain Text Story using Diffusion Models [43.32978092618245]
  本稿では,ストーリーの平文からコヒーレントなストーリーブックを生成するためのニューラルパイプラインを提案する。 我々は,事前学習された大規模言語モデルとテキスト誘導型潜在拡散モデルを組み合わせて,コヒーレントな画像を生成する。
  論文  参考訳（メタデータ） (2023-02-08T06:24:06Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation [76.44802273236081]
  生成したビジュアルストーリーをソースイメージに条件付けしたストーリー継続のためのモデルであるStoryDALL-Eを開発した。 提案手法は, ストーリー継続のためのGANモデルよりも優れており, 画像からの視覚要素のコピーを容易にする。 全体として、本研究は、事前訓練されたテキスト-画像合成モデルがストーリー継続のような複雑で低リソースなタスクに適応できることを実証している。
  論文  参考訳（メタデータ） (2022-09-13T17:47:39Z)
• Retrieve, Caption, Generate: Visual Grounding for Enhancing Commonsense in Text Generation Models [12.488828126859376]
  テキスト生成におけるトランスフォーマーモデルのコモンセンス向上のための効果的な手法として,画像に含まれるマルチモーダル情報の利用について検討する。 われわれのアプローチをVisCTG: Visually Grounded Concept-to-Text Generationと呼んでいる。
  論文  参考訳（メタデータ） (2021-09-08T19:38:11Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。