論文の概要: Adversarial Supervision Makes Layout-to-Image Diffusion Models Thrive

• arxiv url: http://arxiv.org/abs/2401.08815v1
• Date: Tue, 16 Jan 2024 20:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 17:47:00.405058
• Title: Adversarial Supervision Makes Layout-to-Image Diffusion Models Thrive
• Title（参考訳）: レイアウト・ツー・イメージ拡散モデルに逆方向のスーパービジョン
• Authors: Yumeng Li and Margret Keuper and Dan Zhang and Anna Khoreva
• Abstract要約: 現行のL2Iモデルは、テキスト経由の編集性が悪いか、生成された画像と入力レイアウトとのアライメントが弱いかのいずれかである。 我々は、従来のL2I拡散モデル(ALDM)の訓練パイプラインに敵の監督を統合することを提案する。 具体的には,画像と入力レイアウトとの間の画素レベルのアライメントに対して,拡散発生器に対して明示的なフィードバックを提供するセグメンテーションに基づく判別器を用いる。
• 参考スコア（独自算出の注目度）: 21.49096276631859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent advances in large-scale diffusion models, little progress has been made on the layout-to-image (L2I) synthesis task. Current L2I models either suffer from poor editability via text or weak alignment between the generated image and the input layout. This limits their usability in practice. To mitigate this, we propose to integrate adversarial supervision into the conventional training pipeline of L2I diffusion models (ALDM). Specifically, we employ a segmentation-based discriminator which provides explicit feedback to the diffusion generator on the pixel-level alignment between the denoised image and the input layout. To encourage consistent adherence to the input layout over the sampling steps, we further introduce the multistep unrolling strategy. Instead of looking at a single timestep, we unroll a few steps recursively to imitate the inference process, and ask the discriminator to assess the alignment of denoised images with the layout over a certain time window. Our experiments show that ALDM enables layout faithfulness of the generated images, while allowing broad editability via text prompts. Moreover, we showcase its usefulness for practical applications: by synthesizing target distribution samples via text control, we improve domain generalization of semantic segmentation models by a large margin (~12 mIoU points).
• Abstract（参考訳）: 近年の大規模拡散モデルの進歩にもかかわらず、l2i(layout-to-image)合成タスクはほとんど進展していない。 現在のl2iモデルは、テキストによる編集性の低下や、生成された画像と入力レイアウトのアライメントの弱さに苦しんでいる。 これにより、実用性は制限される。 これを軽減するために,従来のL2I拡散モデル(ALDM)のトレーニングパイプラインに,敵の監督を統合することを提案する。 具体的には,画像と入力レイアウトの画素レベルアライメントに基づいて拡散生成器に明示的なフィードバックを与えるセグメンテーションに基づく判別器を用いる。 サンプリングステップ上での入力レイアウトの整合性向上を図るため,マルチステップアンローリング戦略をさらに導入する。 1つのタイムステップを見る代わりに、推論プロセスを模倣するために再帰的にいくつかのステップをアンロールし、識別器に特定の時間ウィンドウ上のレイアウトと識別画像のアライメントを評価するように要求する。 実験の結果,ALDMは生成した画像のレイアウト忠実度を実現し,テキストプロンプトによる編集性の向上を実現している。 さらに,テキスト制御による対象分布サンプルの合成により,意味セグメンテーションモデルのドメイン一般化を大きなマージン(約12miou点)で改善する。

関連論文リスト

• DivCon: Divide and Conquer for Progressive Text-to-Image Generation [0.0]
  拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。 本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。 提案手法は,複雑なテクスチャプロンプトから複数のオブジェクトを生成する際の制御性と整合性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-11T03:24:44Z)
• Referee Can Play: An Alternative Approach to Conditional Generation via Model Inversion [35.21106030549071]
  拡散確率モデル(DPM)はテキスト・画像生成タスクにおいて支配的な力である。 先進視覚言語モデル(VLM)の逆転手法として、最先端DPMの代替的視点を提案する。 差別的VLMを監督した画像を直接最適化することにより、提案手法はより優れたテキスト画像アライメントを実現することができる。
  論文  参考訳（メタデータ） (2024-02-26T05:08:40Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Self-correcting LLM-controlled Diffusion Models [83.26605445217334]
  自己補正LPM制御拡散(SLD)を導入する SLDは、入力プロンプトから画像を生成し、プロンプトとアライメントを評価し、生成した画像の不正確性に対して自己補正を行うフレームワークである。 提案手法は, 生成数, 属性結合, 空間的関係において, 不正確な世代の大部分を補正することができる。
  論文  参考訳（メタデータ） (2023-11-27T18:56:37Z)
• R&B: Region and Boundary Aware Zero-shot Grounded Text-to-image Generation [74.5598315066249]
  拡散モデルを用いてゼロショット接地T2I生成を探索する。 本稿では,地域境界(R&B)を意識したクロスアテンションガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T05:48:42Z)
• Grounded Text-to-Image Synthesis with Attention Refocusing [16.9170825951175]
  拡散モデルのクロスアテンション層と自己アテンション層の潜在的な原因を明らかにする。 そこで本研究では,サンプリング中の空間配置に応じて注目マップを再焦点化するための2つの新たな損失を提案する。 提案手法は,既存手法の制御性を効果的に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:59:59Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [91.13260535010842]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• LayoutDiffusion: Improving Graphic Layout Generation by Discrete Diffusion Probabilistic Models [50.73105631853759]
  レイアウト自動生成のための新しい生成モデルLayoutDiffusionを提案する。 このプロセスでは,前方ステップの成長に伴うレイアウトの混乱が増している。 これにより、プラグアンドプレイ方式で2つの条件付きレイアウト生成タスクを再トレーニングすることなく実現し、既存の方法よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-03-21T04:41:02Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Blended Latent Diffusion [18.043090347648157]
  本稿では,汎用画像の局所的なテキスト駆動編集の課題に対して,ユーザが提供するマスクに所望の編集を限定する高速化されたソリューションを提案する。 提案手法は,低次元の潜伏空間で操作することで拡散を高速化する,最近のテキストから画像への潜伏拡散モデル (LDM) を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。