論文の概要: SceneGenie: Scene Graph Guided Diffusion Models for Image Synthesis

• arxiv url: http://arxiv.org/abs/2304.14573v1
• Date: Fri, 28 Apr 2023 00:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 15:35:40.198698
• Title: SceneGenie: Scene Graph Guided Diffusion Models for Image Synthesis
• Title（参考訳）: SceneGenie:画像合成のためのシーングラフガイド拡散モデル
• Authors: Azade Farshad, Yousef Yeganeh, Yu Chi, Chengzhi Shen, Bj\"orn Ommer, Nassir Navab
• Abstract要約: 拡散モデルにおけるサンプリングプロセスのための新しいガイダンス手法を提案する。 提案手法では,CLIP埋め込みのセマンティックな特徴によってモデルをガイドし,幾何学的制約を強制する。 本研究は,拡散モデルサンプリングプロセスにおいて,境界ボックスとセグメンテーションマップガイダンスを組み込むことの有効性を示した。
• 参考スコア（独自算出の注目度）: 38.22195812238951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-conditioned image generation has made significant progress in recent years with generative adversarial networks and more recently, diffusion models. While diffusion models conditioned on text prompts have produced impressive and high-quality images, accurately representing complex text prompts such as the number of instances of a specific object remains challenging. To address this limitation, we propose a novel guidance approach for the sampling process in the diffusion model that leverages bounding box and segmentation map information at inference time without additional training data. Through a novel loss in the sampling process, our approach guides the model with semantic features from CLIP embeddings and enforces geometric constraints, leading to high-resolution images that accurately represent the scene. To obtain bounding box and segmentation map information, we structure the text prompt as a scene graph and enrich the nodes with CLIP embeddings. Our proposed model achieves state-of-the-art performance on two public benchmarks for image generation from scene graphs, surpassing both scene graph to image and text-based diffusion models in various metrics. Our results demonstrate the effectiveness of incorporating bounding box and segmentation map guidance in the diffusion model sampling process for more accurate text-to-image generation.
• Abstract（参考訳）: 近年, テキストコンディショニングによる画像生成は, 生成的敵ネットワーク, 最近では拡散モデルによって大きく進展している。 テキストプロンプトに条件付けされた拡散モデルは印象的かつ高品質な画像を生成する一方で、特定のオブジェクトのインスタンス数などの複雑なテキストプロンプトを正確に表現することは困難である。 この制限に対処するために,追加のトレーニングデータなしで,境界ボックスとセグメンテーションマップ情報を推論時に活用する拡散モデルにおいて,サンプリングプロセスのための新しいガイダンス手法を提案する。 サンプリングプロセスの新たな損失を通じて,CLIP埋め込みのセマンティックな特徴をモデルに導出し,幾何学的制約を適用し,シーンを正確に表現する高解像度画像を生成する。 境界ボックスとセグメンテーションマップ情報を得るために,テキストプロンプトをシーングラフとして構成し,CLIP埋め込みによるノードの強化を行う。 提案モデルは,シーングラフから画像生成のための2つの公開ベンチマークにおいて最先端のパフォーマンスを実現し,様々な指標でシーングラフから画像およびテキストベースの拡散モデルに匹敵する。 本研究は,より正確なテキスト対画像生成のための拡散モデルサンプリングプロセスにおいて,境界ボックスとセグメンテーションマップガイダンスを組み込むことの有効性を示す。

関連論文リスト

• Generating Intermediate Representations for Compositional Text-To-Image Generation [16.757550214291015]
  2つの段階に基づくテキスト・画像生成のための合成手法を提案する。 第1段階では,テキストに条件付けされた1つ以上の中間表現を生成する拡散に基づく生成モデルを設計する。 第2段階では、これらの表現をテキストとともに、別個の拡散ベース生成モデルを用いて最終出力画像にマッピングする。
  論文  参考訳（メタデータ） (2024-10-13T10:24:55Z)
• Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
  PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。 本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
  論文  参考訳（メタデータ） (2024-07-10T19:58:04Z)
• Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
  条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。 本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。 理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:16Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• R&B: Region and Boundary Aware Zero-shot Grounded Text-to-image Generation [74.5598315066249]
  拡散モデルを用いてゼロショット接地T2I生成を探索する。 本稿では,地域境界(R&B)を意識したクロスアテンションガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T05:48:42Z)
• Dense Text-to-Image Generation with Attention Modulation [49.287458275920514]
  既存のテキストと画像の拡散モデルは、高密度キャプションを与えられた現実的なイメージを合成するのに苦労する。 そこで我々はDenseDiffusionを提案する。DenseDiffusionは、訓練済みのテキスト・ツー・イメージ・モデルを用いて、そのような高密度キャプションを扱う訓練自由な方法である。 レイアウト条件に特化して訓練したモデルを用いて、同様の品質の視覚的結果を得る。
  論文  参考訳（メタデータ） (2023-08-24T17:59:01Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。