論文の概要: LTOS: Layout-controllable Text-Object Synthesis via Adaptive Cross-attention Fusions

• arxiv url: http://arxiv.org/abs/2404.13579v1
• Date: Sun, 21 Apr 2024 08:37:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 18:21:27.336603
• Title: LTOS: Layout-controllable Text-Object Synthesis via Adaptive Cross-attention Fusions
• Title（参考訳）: LTOS:適応的クロスアテンション融合によるレイアウト制御可能なテキストオブジェクト合成
• Authors: Xiaoran Zhao, Tianhao Wu, Yu Lai, Zhiliang Tian, Zhen Huang, Yahui Liu, Zejiang He, Dongsheng Li,
• Abstract要約: 制御可能なテキスト・ツー・イメージ生成は、ある条件下で画像中の視覚的テキストやオブジェクトを合成する。 ビジュアルテキストレンダリングとレイアウト・ツー・イメージ生成タスクは、制御可能なテキスト・ツー・イメージ生成で人気がある。 本稿では,テキストレンダリングとレイアウト・ツー・イメージ生成タスクをひとつのタスクに統合する。
• 参考スコア（独自算出の注目度）: 31.125592382816375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controllable text-to-image generation synthesizes visual text and objects in images with certain conditions, which are frequently applied to emoji and poster generation. Visual text rendering and layout-to-image generation tasks have been popular in controllable text-to-image generation. However, each of these tasks typically focuses on single modality generation or rendering, leaving yet-to-be-bridged gaps between the approaches correspondingly designed for each of the tasks. In this paper, we combine text rendering and layout-to-image generation tasks into a single task: layout-controllable text-object synthesis (LTOS) task, aiming at synthesizing images with object and visual text based on predefined object layout and text contents. As compliant datasets are not readily available for our LTOS task, we construct a layout-aware text-object synthesis dataset, containing elaborate well-aligned labels of visual text and object information. Based on the dataset, we propose a layout-controllable text-object adaptive fusion (TOF) framework, which generates images with clear, legible visual text and plausible objects. We construct a visual-text rendering module to synthesize text and employ an object-layout control module to generate objects while integrating the two modules to harmoniously generate and integrate text content and objects in images. To better the image-text integration, we propose a self-adaptive cross-attention fusion module that helps the image generation to attend more to important text information. Within such a fusion module, we use a self-adaptive learnable factor to learn to flexibly control the influence of cross-attention outputs on image generation. Experimental results show that our method outperforms the state-of-the-art in LTOS, text rendering, and layout-to-image tasks, enabling harmonious visual text rendering and object generation.
• Abstract（参考訳）: 制御可能なテキスト・ツー・イメージ生成は、特定の条件で画像中の視覚テキストやオブジェクトを合成し、絵文字やポスター生成に頻繁に適用される。 ビジュアルテキストレンダリングとレイアウト・ツー・イメージ生成タスクは、制御可能なテキスト・ツー・イメージ生成で人気がある。 しかしながら、これらのタスクは一般的に単一のモダリティ生成やレンダリングに重点を置いており、それぞれのタスク用に設計されているアプローチの間には、まだ橋渡しのギャップが残っている。 本稿では,テキストレンダリングとレイアウト・ツー・イメージ生成タスクをひとつのタスクに統合する。レイアウト制御可能なテキストオブジェクト合成(LTOS)タスク。 LTOSタスクに適合するデータセットは簡単には利用できないため、レイアウト対応のテキストオブジェクト合成データセットを構築し、ビジュアルテキストとオブジェクト情報を精巧に整列したラベルを含む。 本稿では,レイアウト制御可能なテキストオブジェクト適応融合(TOF)フレームワークを提案する。 テキストを合成するビジュアルテキストレンダリングモジュールを構築し、オブジェクトを生成するためにオブジェクトレイアウト制御モジュールを使用し、2つのモジュールを統合してテキストコンテンツと画像内のオブジェクトを調和して生成・統合する。 画像テキスト統合を改善するために,画像生成者が重要なテキスト情報により参加するのに役立つ自己適応型クロスアテンション融合モジュールを提案する。 このような融合モジュール内では、自己適応的学習可能因子を用いて、画像生成における相互注意出力の影響を柔軟に制御する。 実験結果から,本手法はLTOS,テキストレンダリング,レイアウト・トゥ・イメージタスクの最先端性に優れ,高調なビジュアルテキストレンダリングとオブジェクト生成を実現していることがわかった。

関連論文リスト

• First Creating Backgrounds Then Rendering Texts: A New Paradigm for Visual Text Blending [5.3798706094384725]
  背景作成とテキストのレンダリングの両方を含む新しいビジュアルテキストブレンディングパラダイムを提案する。 具体的には、背景生成装置を開発し、高忠実でテキストフリーな自然画像を生成する。 また,シーンテキスト検出のためのシーンテキストデータセット合成など,本手法に基づくダウンストリームアプリケーションについても検討する。
  論文  参考訳（メタデータ） (2024-10-14T05:23:43Z)
• GroundingBooth: Grounding Text-to-Image Customization [17.185571339157075]
  我々は、前景と背景オブジェクトの両方にゼロショットのインスタンスレベルの空間的グラウンドを実現するフレームワークであるGarthingBoothを紹介した。 提案したテキスト画像グラウンドモジュールとマスク付きクロスアテンション層は、正確なレイアウトアライメントとアイデンティティ保存の両方でパーソナライズされた画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-13T03:40:58Z)
• Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model [81.96954332787655]
  テキスト制御のみによるテキスト誘導オブジェクトの追加を容易にするテキスト・ツー・イメージ(T2I)モデルであるDiffreeを紹介する。 実験では、Diffreeはバックグラウンドの一貫性、空間、オブジェクトの関連性、品質を維持しながら、高い成功率を持つ新しいオブジェクトを追加します。
  論文  参考訳（メタデータ） (2024-07-24T03:58:58Z)
• LASER: Tuning-Free LLM-Driven Attention Control for Efficient Text-conditioned Image-to-Animation [62.232361821779335]
  本稿では,プロンプト・アウェア・編集の進歩的プロセスであるStablEアニメーションジェネレーション(LASER)をカプセル化した,チューニング不要なアテンション制御フレームワークを提案する。 アニメーションの整合性を維持するために,モデルの空間的特徴と自己認識機構を操作する。 空間的特徴と自己注意の厳密な制御により,画像の構造的一貫性が確保される。
  論文  参考訳（メタデータ） (2024-04-21T07:13:56Z)
• Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation [72.6168579583414]
  CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。 提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
  論文  参考訳（メタデータ） (2024-01-28T16:18:39Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• Layout-Bridging Text-to-Image Synthesis [20.261873143881573]
  我々は、テキスト・ツー・イメージ生成とレイアウト・ツー・イメージ合成の両方において効果的なモデリングを推し進める。 入力テキストをレイアウト・ツー・イメージ合成プロセスに正確に組み込むために,レイアウト中のオブジェクトごとのテキスト・視覚的セマンティックアライメントを学習することに注力する。
  論文  参考訳（メタデータ） (2022-08-12T08:21:42Z)
• ManiTrans: Entity-Level Text-Guided Image Manipulation via Token-wise Semantic Alignment and Generation [97.36550187238177]
  実世界の実体レベルにおけるテキスト誘導画像操作に関する新しい課題について検討する。 このタスクは、(1)テキスト記述と整合したエンティティを編集すること、(2)テキスト関連領域を保存すること、(3)操作されたエンティティを自然に画像にマージすること、の3つの基本的な要件を課している。 本フレームワークでは,操作対象の画像領域を特定するためのセマンティックアライメントモジュールと,視覚と言語の関係の整合を支援するセマンティックアライメントモジュールを備えている。
  論文  参考訳（メタデータ） (2022-04-09T09:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。