論文の概要: Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis

• arxiv url: http://arxiv.org/abs/2406.04032v1
• Date: Thu, 6 Jun 2024 13:02:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:59:54.624498
• Title: Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis
• Title（参考訳）: Zero-Painter:テキスト・画像合成のための学習不要レイアウト制御
• Authors: Marianna Ohanyan, Hayk Manukyan, Zhangyang Wang, Shant Navasardyan, Humphrey Shi,
• Abstract要約: レイアウト条件のテキスト-画像合成のためのZero-Painterを提案する。 本手法では,オブジェクトマスクと個々の記述とグローバルテキストプロンプトを組み合わせることで,忠実度の高い画像を生成する。
• 参考スコア（独自算出の注目度）: 63.757624792753205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Zero-Painter, a novel training-free framework for layout-conditional text-to-image synthesis that facilitates the creation of detailed and controlled imagery from textual prompts. Our method utilizes object masks and individual descriptions, coupled with a global text prompt, to generate images with high fidelity. Zero-Painter employs a two-stage process involving our novel Prompt-Adjusted Cross-Attention (PACA) and Region-Grouped Cross-Attention (ReGCA) blocks, ensuring precise alignment of generated objects with textual prompts and mask shapes. Our extensive experiments demonstrate that Zero-Painter surpasses current state-of-the-art methods in preserving textual details and adhering to mask shapes.
• Abstract（参考訳）: このZero-Painterは、レイアウト条件のテキスト-画像合成のための新しいトレーニングフリーフレームワークで、テキストプロンプトから詳細な画像や制御された画像の作成を容易にする。 本手法では,オブジェクトマスクと個々の記述とグローバルテキストプロンプトを組み合わせることで,忠実度の高い画像を生成する。 Zero-Painterは、我々の小説『Prompt-Adjusted Cross-Attention』(PACA)と『RegCA』(RegCA)ブロックを含む2段階のプロセスを採用し、生成したオブジェクトをテキストプロンプトとマスク形状で正確にアライメントすることを保証する。 我々の広範な実験により、Zero-Painterはテクストの細部保存やマスク形状の付着に最先端の手法を超越していることが示された。

関連論文リスト

• Large-Scale Text-to-Image Model with Inpainting is a Zero-Shot Subject-Driven Image Generator [44.620847608977776]
  ディプチッチ・プロンプティング(Diptych Prompting)は、被写体を正確にアライメントした塗装タスクとして再解釈する、新しいゼロショットアプローチである。 提案手法は主観的画像生成だけでなく, 主観的画像生成と主観的画像編集もサポートする。
  論文  参考訳（メタデータ） (2024-11-23T06:17:43Z)
• DiffSTR: Controlled Diffusion Models for Scene Text Removal [5.790630195329777]
  Scene Text removed (STR) は、画像中のテキストの不正使用を防止することを目的としている。 STRは、バウンダリアーティファクト、一貫性のないテクスチャと色、正しいシャドウの保存など、いくつかの課題に直面している。 STRを塗装タスクとして扱う制御ネット拡散モデルを提案する。 拡散モデルを満たすためのマスク事前学習パイプラインを開発した。
  論文  参考訳（メタデータ） (2024-10-29T04:20:21Z)
• First Creating Backgrounds Then Rendering Texts: A New Paradigm for Visual Text Blending [5.3798706094384725]
  背景作成とテキストのレンダリングの両方を含む新しいビジュアルテキストブレンディングパラダイムを提案する。 具体的には、背景生成装置を開発し、高忠実でテキストフリーな自然画像を生成する。 また,シーンテキスト検出のためのシーンテキストデータセット合成など,本手法に基づくダウンストリームアプリケーションについても検討する。
  論文  参考訳（メタデータ） (2024-10-14T05:23:43Z)
• Lazy Diffusion Transformer for Interactive Image Editing [79.75128130739598]
  部分的な画像更新を効率的に生成する新しい拡散変換器であるLazyDiffusionを導入する。 提案手法は,空白キャンバスや画像から,ユーザが局所的な画像修正のシーケンスを指定するインタラクティブな画像編集アプリケーションを対象としている。
  論文  参考訳（メタデータ） (2024-04-18T17:59:27Z)
• Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model [31.819060415422353]
  Diff-Textは、任意の言語のためのトレーニング不要のシーンテキスト生成フレームワークである。 本手法は, テキスト認識の精度と, 前景と後景のブレンディングの自然性の両方において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-12-19T15:18:40Z)
• Text-Driven Image Editing via Learnable Regions [74.45313434129005]
  本研究では,ユーザが提供するマスクやスケッチを必要とせずに,テキストプロンプトによって駆動される領域ベースの画像編集手法を提案する。 この単純なアプローチにより、現在の画像生成モデルと互換性のあるフレキシブルな編集が可能になることを示す。 実験では,提案した言語記述に対応する忠実度とリアリズムの高い画像の操作において,提案手法の競合性能を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:27:31Z)
• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model [27.91089554671927]
  ジェネリック・イメージ・インペイントは、周辺情報を借りて、腐敗したイメージを完成させることを目的としている。 対照的に、マルチモーダル・インパインティングは、インパインされたコンテンツに対してより柔軟で有用なコントロールを提供する。 テキストと形状誘導の両方を用いて、オブジェクトで欠落した領域を完了するための拡散モデルSmartBrushを提案する。
  論文  参考訳（メタデータ） (2022-12-09T18:36:13Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。